Добавлено: Ср Июл 05, 2006 7:45 am Заголовок сообщения: Вопрос о нахождении поисковыми роботами ссылок, которых нет)
Здравствуйте.
(Если я не в тот раздел обратился - прошу меня извинить)
Проблема заключается в том, что по логам отмечаю заходы поисковых роботов разных систем и они находят странные ссылки и сервер отдает им (роботам ) код 404.
Ссылки вида /catalog/xxx/xxx/directory/yyy/yyy/, где " /catalog/xxx/xxx/" и "/directory/yyy/yyy/" - совершенно различные директории на сервере.
Я не администрирую сервер (так как не умею ) и администратор решения данной проблемы не знает.
Для полноты информации возможно помогут следующие сведения:
1) хостинг на ASP (соответственно Windows)
2) при отсутствии страницы сервер отдает код 404, ходя до этого долгое время был настроен отдавать 200 (примерно месяц назад);
3) проверил на ошибки валидатором весь сайт - таких странных урлов не показал.
4) пробовал генерить карту сайта для гула - действительно, сервер отдает такие странные урлы (((
5) подобная ситуация была на старой работе у одного сайта - рез-т решения проблемы узнать не могу.
Добавлено: Ср Июл 05, 2006 8:16 am Заголовок сообщения:
Здравствуйте.
Такие ссылки, как в вашем примере, действительно могут возникать. Проблема может быть как на вашей стороне, так и на стороне индексатора, который неправильно обрабатывает ссылки. Рассмотрим сначала первый вариант.
Такие "составные" ссылки возникают при использовании относительных ссылок, например для вашего примера ссылку можно прописать несколькими способами:
1. <a href="http://site.ru/directory/yyy/yyy/">
2. <a href="/directory/yyy/yyy/">
3. <a href="../../directory/yyy/yyy/">
Если во втором примере забыть поставить начальный слеш (выделен жирным), то пусть к странице будет строиться не от главной страницы сайта, а от той, страницы, где стоит ссылка, в Вашем примере это, скорее всего, страница /catalog/xxx/xxx/, на ней следует внимательно проверить все ссылки.
Можно подробнее прочитать про абсолютные и относительные ссылки:
http://www.leaderit.ru/books/Web-pages/Charter7/1.htm
Некоторые индексаторы могут неправильно обрабатывать ссылки на странице в ряде случаев, например при использовании мета тега BASE в заголовке документа. Вам следует проверить по логам, какие именно браузеры или роботы делают неправильные запросы. Если это какой-то конкретно робот, а все остальные работают правильно, то этот робот может неправильно строить ссылки, если же все подряд делают такие запросы, то проблема на сайте. _________________ С уважением,
Владимир Чернышов
(не)?путевые заметки промоутера
Добавлено: Ср Июл 05, 2006 8:21 am Заголовок сообщения:
Огромное спасибо! =) М-м-м-м, код на сайте не валиден =) Досталось 300 страниц без cms системы, причем в html, xhtml.
Еще раз спасибо - буду исправлять !
дополнил: информация написанная в статье прочитал - интересно было все вспомнить Учитывая Ваши примеры и доводы -склоняюсь, что действительно трабла где-то с урлами и валидностью, так как бывают и такие урлы catalogue/http:/www.xxx.ru/http:/www.xxx.ru/catalogue/ttt/hhh/tttt/default.asp
В принципе тему можно закрывать или оставить на добавление возможно какой-то информации, которая будет полезна остальным ) . Еще раз спасибо! =)
Добавлено: Ср Июл 05, 2006 8:48 am Заголовок сообщения:
Пожалуйста!
Кстати, такие ссылки могут возникать при попытке прописать абсолютную ссылку, с именем домена, но при этом забывают написать перед именем домена http://, а такая ссылка считается уже относительной. _________________ С уважением,
Владимир Чернышов
(не)?путевые заметки промоутера
Но как же проверялась валидность сайта ? Как это написано в первом сообщении ? Одно только это заставило задуматься о более сложной проблеме, оказалось видимо все проще.
Валидатором, конечно. На сайте около 300 страниц и я на первых порах пару десятков почистил страниц, потом понял, что надо сделать валидный шаблон страницы и только сам код текста чистить. А кривые ссылки были не на этих страницах точно.
Это я оправдывался
Сорри за офтоп, но почему затронул валидность, так как имели место пару случаев, когда увеличивалась выдача с валидным кодом (по крайней мере - в Гугле). Вот я и подумал, что может как-то влияет невалидный на такие ссылки, но теперь понимаю, что в этом был неправ.
Еще раз презнателен за помощь, а где неправ мог быть - прощу искренне прошение!
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах