Добавлено: Ср Янв 31, 2007 6:24 am Заголовок сообщения:
buster писал(а):
не забудет, но документ можно снести ручками, а для того чтобы забыл нужно указать статус 410
Имею опыт, выдавал ответ сервера 404, а контент - динамический, в зависимости от запроса. Ну так такие страницы боьше робот не пытался индексировать. Зато, если отдавать код 302 (Moved Temporarily), то робот стучится на новое место в следуюший раз, но про этот (текущий урл) не забывает.
Может быть, конечно, не все боты так работают, но, по крайней мере, Яндекс - так.
Так что, лучше всего скриптом анализировать вариант обращения (валиднсть урла) и отдавть потом соответствующий код
Код:
Если урл не является правильным
<?
header("404");
?>
Добавлено: Ср Янв 31, 2007 7:36 am Заголовок сообщения:
Цитата:
По-моему, сайт работал правильно, потому что серваки умеют автоматически избавляться от подобных "двойных" слэшей... а вот робот как раз таки тупо идёт по тем адресам которые прописал ему программист...
Робот тупо идет по ссылкам, которые встречает, скорее всего где-то на страницах сайта ссылки с двойным слешом все-таки есть или были. У меня был случай появления таких ссылок, когда адрес ссылки я формировал из названия домена+адрес запроса в рамках сайта, при этом домен заканчивался слешом, а адрес запроса начинался со слеша, пришлось в домене завершающий слеш отбрасывать. mod_rewrite тут, скорее всего, ни при чем.
Цитата:
Если он получил ответ ВРЕМЕННО ПЕРЕМЕЩЕН (кажется 303), то в следующий раз он опять обратится по ЭТОМУ же адресу.
Не 303, а 302. Обратиться к этому же адресу робот Гугля, а робот Яндекса не будет -- он приравнивает постоянные и временные редиректы.
Цитата:
не забудет, но документ можно снести ручками, а для того чтобы забыл нужно указать статус 410
Да, действительно, есть такой код 410 Gone, который означает что документ не просто не найден, а был, но больше его не будет, т.е. это насовсем. На данный момент об этом коде заикались только в Гугле и то, говорили что его обработка приравнивается к обработке 404. _________________ С уважением,
Владимир Чернышов
(не)?путевые заметки промоутера
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
FAQ
Поиск
Пользователи
Группы
Реклама
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
