По парсерам

Тема в разделе "Ошибки , Баги, Проблемы", создана пользователем ant333, 14 мар 2018.

  1. ant333

    ant333 Новичок

    7 мар 2018
    4
    1
    Мужской
    Привет всем, покурил форум , но что-то, так и не нашел ответа .

    Я так понимаю все парсеры снипетов парсят только первую страницу выдачи?
    А как сделать что бы парсило скажем:
    1. с 2-й или N-ой страницы выдачи.
    2 . что бы парсило все первые 10 - 20 страниц выдачи по кею, если есть.
    3. или начиная со 2-й страницы до N-ой страниц выдачи

    Возможно ли такое?
     
    Yasin нравится это.
  2. amness

    amness Активный Участник

    11 апр 2016
    251
    86
    Мужской
    Возможно. Идёшь в /plugins/Snippets.php и ищешь строку:
    public function getGoogleSnippets($keyword = null, $count = 100, $lang = 'ru') {

    Добавляешь в неё:
    public function getGoogleSnippets($keyword = null, $count = 100, $start = null, $lang = 'ru' ) {

    Затем ищешь строку:
    $url = 'https://www.google.com/search?q='.urlencode($keyword).'&num='.intval($count).'&lr=lang_'.trim($lang);

    Добавляешь в неё:
    $url = 'https://www.google.com/search?q='.urlencode($keyword).'&start='.intval($start).'&num='.intval($count).'&lr=lang_'.trim($lang);

    И используешь:
    {% set google_snippets = google_snippets(keyword,10,20) %} - последнее значение означает, что брать сниппеты начиная с 20-го результата выдачи.
     
  3. ant333

    ant333 Новичок

    7 мар 2018
    4
    1
    Мужской
    1:
    И получается переменная $count отвечает за кол-во сниппетов?
    {% set google_snippets = google_snippets(keyword,10,20) это 100 сниппетов начиная с 20-го результата выдачи?

    А что означает 10 в (keyword,10,20) ?


    2:
    И для остальных ПС , в часности Бинг и Яху, все так же ?
    Например бинг :

    public function getBingSnippets($keyword = null, $start=null, $lang = 'ru')

    $url = 'http://www.bing.com/search?format=rss&first='.intval($start)'&q='.urlencode($keyword).'+language:'.$lang;

    {% set bing_snippets = bing_snippets(keyword,21,'en') %} будет парсить с 3-й страницы выдачи?

    А сколько сниппетов по умолчанию парсит Бинг и как задать нужное количество?


    3:
    А еще по кукам вопрос, вроде если парсить бинг с 1-го ip то желательно через время менять куки, так ли это и где их тогда можно поменять?
     
  4. Firestarter

    Firestarter Администратор
    Команда форума

    26 окт 2015
    1.195
    553
     
  5. Firestarter

    Firestarter Администратор
    Команда форума

    26 окт 2015
    1.195
    553
    Приветствую.
    1 тут все верно вы поняли.
    2) так точно.
    3)Про куки даже не знаю. У меня даже не на одном доргене так реализовано - проблем не было. Откуда такое подозрение?
     
  6. ant333

    ant333 Новичок

    7 мар 2018
    4
    1
    Мужской
    Ну есть такой Z-дорген под зеннопостер, я его не юзал но читал ман , там перед каждым парсингом бинга/генерацией пачки доров, надо снимать свежие куки (например с помощью КД) и вставлять в шаблон, может это там такая реализация просто , хз , потому и спрашиваю.

    4. Киньте кто нить, пожалуйста, код для парсинга ПС,
    что бы можно было перебирать парсинг сниппетов ну или подсказок ПС до первого не пустого.
    парсим бинг, если пусто, то яху, если пусто то гугл и т.д.

    где-то тут видел на форуме, не могу найти.
     
  7. Firestarter

    Firestarter Администратор
    Команда форума

    26 окт 2015
    1.195
    553
    Уже и я не могу найти. приеду с больницы, нормально сяду за пк, найду, обязательно.
     
    Yasin нравится это.

Поделиться этой страницей