ryg

Анализ индексации ваших сайтов в Яндекс и Google

Развитие скрипта уже указанного в статье скрипт для проверки индексации сайта в Яндекс.

Данный скрипт сделан в виде сайта устанавливаемого на локальный web-сервер и позволяющий хранить и анализировать данные индексации ваших сайтах в следующих поисковых системах:

  • Яндекс (получение информации делается с помощью YandexXML)
  • Google общий индекс (с помощью оператора site:sitename.ru)
  • Google строгий индекс (с помощью оператора site:sitename.ru/&). Многие оспаривают необходимость использования данного оператора, но опыт показывает, что чем больше страниц сайта находятся в с помощью данного оператора, тем лучше сайт представлен в выдаче.
 

Системные требования:

  • Локальный web-сервер (скрипт тестировался на Apache/2.2.24 и под Windows с установленным пакетом Denwer)
  • Установленная СУБД MySQL (тестирование производилось с версией 5.5.29)
  • Включенный php интерпретатор

Тестирование и отладка была на двух машинах одна с Mac OS X 10.9 и вторая c Windows 7 (с установленным пакетом Denwer), других машин под рукой не имею и поэтому сказать, как на них будут работать данные скрипты, не могу.

Установка

  • Создайте папку сайта в домашней директории локального сервера и скопируйте туда скрипты. Для корректного отображения кодировки под Denwer необходимо создать .htaccess со строкой:
  • AddDefaultCharset UTF-8
  • Обратитесь к сайту по его адресу или через localhost
  • Запустится скрипт установки

Здесь необходимо ввести

  • имя сервера, где размещена БД (по умолчанию localhost)
  • Имя создаваемой базы данных в MySQL
  • Имя пользователя в MySQL с правами, позволяющими создание базы данных и таблиц
  • Его пароль

По результатам работы скрипта будет создан файл default/default.php в котором будет храниться введенная информация и база данных. В базе данных будет создана таблица config, в которой будет хранится информация о сайтах. После этого возвращаемся на главную страницу и нажимаем "добавить сайт"

 

Здесь вводим:

  • URL адрес сайта. Внимание! url вводится без указания протокола http.
  • Префикс сайта - от одного до четырех латинских символов, который будет использован для имени таблиц базы данных с информацией о проиндексированных страницах
  • Имя пользователя и ключ YandexXML. Скрипт использует сбор данных о проиндексированных страницах API ЯндексXML и если вам не нужна информация о проиндексированных страницах в Яндекс, то их можно не вводить. Впоследствии добавить информацию можно непосредственно  таблицу config вашей базы данных, используя PhpMyAdmin или другие механизмы.

Данный скрипт создаст новую запись в таблице config и пять новых таблиц. Данные таблицы будут иметь указанный вами префикс и следующие имена:

  • (префикс)_url
  • (префикс)_sitemap
  • (префикс)_yandex
  • (префикс)_googlestrong
  • (префикс)_googlefull

Я думаю, что название страниц говорят сами за себя, и подробно описывать их не имеет смысла.

На этом этапе установка завершена. Если хотите начать установку заново, то необходимо удалить файл defult/default.php и базу данных (чтобы не мешала)

После этого можно приступать к работе. Я не думаю, что необходимы какие-либо пояснения по пользованию самим скриптом.

 

 

Примечания:

  • В новой версии файл карты сайта задается в настройках.
  • Я не тестировал скрипт на обработку реально больших сайтов (проверено на размерах до 1000 страниц). Все должно работать, но отсутствует обработка капчи и возможно ограничение лимитов YandexXML
  • Обработка капчи отсутствует.
  • Сбор данных по Яндекс 
  • В google по задается в настройках. 

При работе с большими сайтами может потребоваться увеличить допустимое время работы скрипта в настройках apache. Для этого откройте файл php.ini, и внесите изменения в строку

max_execution_time =nnn

Где nnn максимально допустимое время работы скрипта в секундах.

Теперь о лицензии. Я против использования данного скрипта для перепродажи и коммерческого использования. Если код сайта повредит информации на Вашем или чьем-либо компьютере это Ваши проблемы, а не разработчика. Используйте его на свой страх и риск. Исходники все на виду.

Скачать набор скриптов

 

 
 
Рекомендация по обновлению версий. Имеет смысл новую версию скриптов устанавливать в новую папку и потом перенести в нее файл default/default.php
Версия 0.008a  от 7 ноября 2016
Увеличена длина url страницы до 1000 символов
 
 
 
Версия 0.008  от 10 февраля 2014
  •  Переработан алгоритм получения и сохранения данных. Возможна работа с большими сайтами.
  •  Добавлено протоколирование работы скрипта в папку debug.
  •  Незначительные изменения интерфейса.

Версия 0.0070  от 8 февраля 2014 

  • Добавлен новый отчет "TimeLine", позволяющий отслеживать изменения в индексации ваших страниц. Если изменений не было, то ничего не выводится.
  • Добавлена функция отладки. В случае ошибки записи в таблицы массив с полученными от поисковой системы адресами записывается в файл с соответствующим именем в каталог "debug". При возникновении ошибки при повторном сканировании файл перезаписывается.
  • Можно включить запись данных файлов независимо от возникновения ошибок, для этого необходимо снять комментарии в файле process.php в строках 328 и 499 Debug($array,$filename);
  • Незначительные улучшения и исправление мелких ошибок.
     

Версия 0.006  от 7 января 2014
 Исправлены мелкие ошибки. В отчеты добавлены сортировка и возможность установки фильтра.

Версия 0.005 (24 декабря 2013) Переработан интерфейс. 

Версия 0.004 (23 декабря 2013) Устранена ошибка, возникающая в Open Server. Связанная с двойным объявлением функций при добавлении новых сайтов.

Версия 0.002 от 22 декабря 2013. 
Добавлена возможность указания адреса карты сайта. Добавлена возможность указания количества URL на страницу при получении данных от поисковых систем. Добавлена возможность редактирования данных сайта. Устранены мелкие ошибки.

  (версия 0.001)

Все вопросы по работе скрипта задавайте в форуме