Скрипт для проверки индексации сайтов

Некоторое время пользовался скриптом для проверки индексации сайтов на i.pr-cy.ru, но вскоре статистика стала приходить неправильной. Поэтому перешел на topnem.ru, сначала было все нормально, но потом стала периодически выскакивать такая фигня:

site_audit

При этом, обновить можно только раз в 12 часов.
Поэтому возникла необходимость написать свой собственный сборщик.

К счастью ничего писать не пришлось. К этому времени samborsky написал свой скрипт, но этот скрипт мониторил только один сайт.

За пару часиков этот скрипт был изменен и теперь он может отслеживать большое количество доменов.

На данный момент я отслеживаю при помощи него сотню доменов, сбоев в работе не было.

скачать скрипт

Инструкция:

1. Изменить файл domains.txt

2. Закачать папку на хостинг

3. Запустить скрипт и дождаться надписи «Готово»

Как будет время, планирую дописать взаимодействие с базой данных, чтобы видеть как изменилось количество проиндексированных страниц, тиц. Можно будет строить графики зависимости параметров от времени.

Второй пункт — мониторить апы Яндекса и обновлять автоматически статистику.

Конечно же есть огромное количество программ, которые делают тоже самое, но третье дополнение — разделение на группы и мои дополнительные строки, указывающие биржи, в которых этот сайт монетизируется.

Популярность: 18%



Также почитайте эти записи:

17 комментариев

ZiBBiTавгуста 22, 2009 at 12:52

Блин PageRank легче поднять чем CY но вот почему??

<a href=\"http://zibbit.blogspot.com\">Мой блог</a>

Владимирский Бомжавгуста 23, 2009 at 17:54

Неплохо бы добавить цветную индикацию -где ноль, там красным. Где одна, там желтым.

Alexolавгуста 28, 2009 at 13:48

Спасибо, потестим скриптик.

Андрейавгуста 28, 2009 at 20:42

У меня скрипт выдает

Warning: curl_setopt () [function.curl-setopt]: CURLOPT_FOLLOWLOCATION cannot be activated when in safe_mode or an open_basedir is set in /home/captain/domains/axxxx.ru/public_html/urls/class_http.php on line 73

wlad2августа 30, 2009 at 18:49

Warning: curl_setopt () [function.curl-setopt]: CURLOPT_FOLLOWLOCATION cannot be activated when in safe_mode or an open_basedir is set in /home/nones/public_html/web.nnn.com/tic-pr/class_http.php on line 73

что значит ?

Ad1ceавгуста 30, 2009 at 19:23

Эта ошибка значит что хостер прикрыл функцию, например чтоб пользователи меньше загружали сервак.

Романавгуста 31, 2009 at 6:58

Запускаю скрипт, вылетает ошибка

Parse error: syntax error, unexpected T_STRING, expecting T_OLD_FUNCTION or T_FUNCTION or T_VAR or '}' in ...домен/audit/class_http.php on line 17

Ad1ceавгуста 31, 2009 at 8:28

Установлен php версии 4. На этой версии — не работает. Необходима 5 версия.

jimавгуста 31, 2009 at 21:25

Так и не получилось у меня глянуть на этот скрипт.

Показывает белую страницу.

wlad2сентября 3, 2009 at 17:05

а можно обойтись без этой функции ?

Ad1ceсентября 3, 2009 at 18:41

нет, никак. Придется пользоваться другой программой, список посмотри у владимирского бомжа.

kikahaсентября 5, 2009 at 11:48

PR не показывает, на всех сайтах N/A

Ad1ceсентября 8, 2009 at 12:53

Значит PR не определен. Тоже самое что равен 0.

Alex Volkovсентября 9, 2009 at 20:24

Поддержки прокси не хватает.

Капча 564965 согласно кивает

Ad1ceсентября 13, 2009 at 16:28

Прокси встроить можно, за час сделается легко. Однако прокси должны быть быстрыми. Я для теста вставил публичную, но через нее скрипт стучался к яндексу через раз.

Могилевский бомжмая 14, 2010 at 20:31

а не попадалось кому-нибудь аналогичная реализация на JS+AJAX. А то задолбало прокси, Яндекс API и прочая фигня. Буду весьма благодарен, если кто-нибудь поделится — готов отблагодарить ссылкой на блоге )))

psиюня 19, 2010 at 16:21

я индексацию сайтов здесь проверяю www.raskruty.ru/tools/index/

Leave a comment

Your comment

Защитный код Укажите защитный код!