ryg

не считывается карта сайта в отчете

16 сообщений / 0 новое
Последнее сообщение
filiasfox
не считывается карта сайта в отчете

При формировани отчетов попробовал сделать считывание карты сайта Результат: 2016-11-07 16:54:38 process.php Начата обработка карты сайта http://www.dharmalib.ru/sitemap.xml Ошибка! 2016-11-07 16:54:45 process.php (Sitemap) Ошибка открытия карты сайта по адресу http://www.Вашсайт.ru/sitemap.xml Описание: file_get_contents(http://www.dharmalib.ru/sitemap.xml) [function.file-get-contents]: failed to open stream: ����������� �� �����������, �.�. �������� ��������� ������ ������ �� �����������. в строке 42

vago
Аватар пользователя vago
Честно говоря, я немножко

Честно говоря, я немножко забросил данный скрипт. На этой неделе его восттановлю и проверю. Но сообщение говорит, что не может открыть карту сайта. Но при обращениии по адресу

http://www.вашсайт.ru/sitemap.xml

нет никакой информации, проверьте настройки и адрес карты сайта

filiasfox
не считывает карта сайта

Вы не правы. Карта сайта существует и открывается. только что токрыл по адресу www.dharmalib.ru/sitemap.xml карту сайта. открылась вполне нормально. Оттуда же считывают данные и гугль, и яндекс и бинг

vago
Аватар пользователя vago
Запустил скрип у себя. 

Запустил скрип у себя. 

Ругается на страницу

http://www.dharmalib.ru/ru-ru/lib-collect/44-lib/collect/tsamdrag/ati-yoga/195-tantra-ob-odnotochechnoj-kontsentratsii-i-glubokom-sosredotocheniitantra-ob-odnotochechnoj-kontsentratsii-i-glubokom-sosredotochenii-perevel-filippov-o-e-arya-avalokiratishvara-samatieka-tantra-nama-blagorodnyj-avalokiteshvara-tantra-ob-odnotochechnoj-kon

Длина ссылки 334 символа! В базе данных скрипта длина поля url ограничена 256 символами, поисковики позволяют использовать более длинные символы, но я в скрипте такую возможность не закладывал. Да и скрипт на сайты с 20000 страниц не дает полной информации об индексации из-за того, что поисковики ограничивают информацию по ряду запросов 500 страницами. Есть способ его обойти, но мне было лень его писать.

PS. Комментарии от Вас почему-то дублируются.

filiasfox
не считывает карта сайта

Меня собственно для начала интересовала странность в отношении карты сайта, что скриптом не считывалась. остальное по ходу выяснялось бы дальше

vago
Аватар пользователя vago
Ссыка на увеличенное поле

Ссыка на увеличенное поле Версия 0.008a 

Увеличил длину поля до 1000 символов, но базу нужно пересоздать.

Ситуация в том, что ни яндекс, ни гугл не выдают в ответ на нужные для проверки запросы данные больше 500 (примерно) страниц. И для того, чтобы получить информация у сайта должна быть определенная структура, типа:

http://имя сайта.ру/1/страница1

http://имя сайта.ру/1/страница2

http://имя сайта.ру/2/страница1

http://имя сайта.ру/2/страницаN

http://имя сайта.ру/N/страница1

И в каждом каталоге /1 /2 /N жолжно быть не более 500 страниц. Но так как я писал этот скрип больше для себя и для анализа молодого сайта, то у меня не было необходимости делать анализ сайта с разбивкой на группы. А потом необходимость и вовсе пропала. Сейчас она снова возникает и я может вернусь к улучшению данного скрипта.

 

filiasfox
не считывает карта сайта

ОШИБКА! Не удалось создать таблицу : dll_url Номер ошибки: 1071Описание: Specified key was too long; max key length is 767 bytes

vago
Аватар пользователя vago
Это уже вопрос версии mysql.

Это уже вопрос версии mysql.

В файле add_site_sql.php замените строку 117 на

UNIQUE INDEX `url_` (`url` (700) ASC) )";

Вчера постестировал скрипт. Он с изменениями ПС за последние 1,5 года глючит 

filiasfox
не считывает карта сайта

Заменил. получил тот же ответ с ошибкой

Specified key was too long; max key length is 767 bytes

filiasfox
не считывает карта сайта

версия mysql как в последнем денвере

filiasfox
не считывает карта сайта

при считывании карты сайта после всех изменений (даже с удалением уникального индекса (без него таблица формируется)), получаем вчерашнюю ошибку

Сбор данных из карты сайта Sitemap.xml 2016-11-08 11:08:51 process.php Начата обработка карты сайта http://www.dharmalib.ru/sitemap.xml
Ошибка! 2016-11-08 11:08:57 process.php (Sitemap) Ошибка открытия карты сайта по адресу http://www.dharmalib.ru/sitemap.xml
Описание: file_get_contents(http://www.dharmalib.ru/sitemap.xml) [function.file-get-contents]: failed to open stream: ����������� �� �����������, �.�. �������� ��������� ������ ������ �� �����������. в строке 42 Еще раз повторюсь, что карта сайта существует и считывается в огнелисе и пр
vago
Аватар пользователя vago
То есть венда и денвер

То есть венда и денвер?Поэтому и ���

Там версия mysql 5.5 

Я Ваш сайт нормально считал, но у меня версия 5.7.16

ХЗ. Сегодня днем покопаюсь в скрипте.

filiasfox
не считывает карта сайта

индекс убрал. считывать карту сайта стало. но только с локалки. так что тут проблема не в mysql. копать надо в другом направлении

vago
Аватар пользователя vago
тогда проблема скорее всего

тогда проблема скорее всего не в скрипте.  Плохо, что не отбражает полностью диагностическое сообщение. А у меня винды, на который можно поставить денвер под рукой нет.

Скриптом Ваша карта сайта у меня нормально считывается. Проверьте, что пишет при сборе данных гугла. Яндекс не работает, там запросы нужно переписывать.

filiasfox
не считывает карта сайта

по гуглу пишет

2016-11-08 12:07:52 process.php Начата обработка google short
2016-11-08 12:08:13 process.php Завершена обработка выдачи google Обработано строк.
 
Ни количества строк, ничего

 

vago
Аватар пользователя vago
Переделал скрипт, оставил под

Переделал скрипт, оставил под той же версией. У меня сейчас все работат, кроме Яндекса. Но по яндексу нужно менять всю концепцию, так как теперь проще для анализа использовать файл TSV из вебмастера.