Нужно узнать активность поисковых ботов Яндекса и Гугла

Тема в разделе "Логи сервера и работа с базами данных", создана пользователем Петрович, 8 сен 2012.

  1. Петрович
    Оффлайн

    Петрович Новичок

    Регистрация:
    8 сен 2012
    Сообщения:
    26
    Симпатии:
    2
    Баллы:
    1
    Репутация:
    0
    Каким образом можно завладеть данной информацией? Где-то встречал уже статьи, в которых описывалась методика расчета и вообще принцип посещений ботами вашего сайта, но вот именно активность, как ни странно, пока не попадалась мне.
     
  2. Marina
    Оффлайн

    Marina Участник

    Регистрация:
    28 авг 2012
    Сообщения:
    33
    Симпатии:
    0
    Баллы:
    6
    Репутация:
    0
    Я только слышала про индексацию страниц поисковыми системами, а вот про их активность я даже не слышала и не знала. А индексацию можно проверить на сайтах Гугл и Яндекс. Они и выдают количество проиндексированных страниц и какие именно.
     
  3. mr_krabs
    Оффлайн

    mr_krabs Administrator Команда форума

    Регистрация:
    6 авг 2012
    Сообщения:
    2.053
    Симпатии:
    221
    Баллы:
    63
    Репутация:
    100
    Петрович, нужно просто распарсить файл логов и выцепить оттуда все записи. у меня на хостинге файл логов формируется в gz архив. вот самый элементарный скрипт, которым можно это сделать
    PHP:
    <?php
    $sitename 
    "allmetrics.ru";
    $date_file "2012-09-04";
    //чтение файла лога
    $logs_file gzfile("$sitename.$date_file.gz");
    foreach (
    $logs_file as $num => $str){
        if (
    stripos($str'http://yandex.com/bots') !== false and stripos($str'metrika') == false ){
            echo 
    "$str<br>";
        }
        elseif (
    strpos($str'Googlebot') !== false){
            echo 
    "$str<br>";
        }
        elseif (
    strpos($str'Mail.RU') !== false){
            echo 
    "$str<br>";
        }
    }
    ?>
    Немного усложнив все это, можно получить вот такую картину
    [​IMG]
     
    maverik нравится это.
  4. Тикси
    Оффлайн

    Тикси Новичок

    Регистрация:
    8 сен 2012
    Сообщения:
    20
    Симпатии:
    0
    Баллы:
    1
    Репутация:
    0
    А разве боты не посещают сайт через определенные равные промежутки времени? Это ведь программы и они должны иметь определенный алгоритм действий. А на примере админа ясно видно, что временной интервал постоянно разный.
     
  5. Syavon
    Оффлайн

    Syavon Новичок

    Регистрация:
    7 сен 2012
    Сообщения:
    29
    Симпатии:
    0
    Баллы:
    1
    Репутация:
    0
    Абсолютно нет. Кстати, очень многие жалуются на то, что Яндекс очень активно посещает сайт и в некоторых случаях это совсем не на руку владельцу сайта. И то, что приведено (8 посещений за 6 часов) - это еще цветочки. На некоторых ресурсах активность Яндекс-бота приравнивают к ДДос-атаке.
     
  6. getnaked
    Оффлайн

    getnaked Новичок

    Регистрация:
    10 сен 2012
    Сообщения:
    12
    Симпатии:
    3
    Баллы:
    3
    Репутация:
    3
    Интенсивность зависит от количества упоминаний сайта в интернете и частоты обновления. Есть много сайтов, на которых поисковые боты "живут" и не отлучаются.
     
  7. mr_krabs
    Оффлайн

    mr_krabs Administrator Команда форума

    Регистрация:
    6 авг 2012
    Сообщения:
    2.053
    Симпатии:
    221
    Баллы:
    63
    Репутация:
    100
    Syavon, это еще мало, обычно гораздо больше. другой вопрос, что кушают они всякую дрянь, а не то что нужно )
     
  8. sheber
    Оффлайн

    sheber Новичок

    Регистрация:
    2 окт 2012
    Сообщения:
    4
    Симпатии:
    0
    Баллы:
    1
    Репутация:
    0
    и это правда, хостер не раз закрывал мой аккаунт из за повышенной нагрузки траффика.
     

Поделиться этой страницей