Добавлено: Вт Апр 04, 2006 10:35 am Заголовок сообщения: Программа - аналог поискового робота
Есть ли программа, эмулирующая действия поискового робота-индексатора?
Список пожеланий к программе
1. Проверяет файл robots.txt, придерживается его указаний
2. Начиная с главной страницы обходит весь разрешенный к индексации сайт
2.1. Не идет по ссылкам rel=nofollow
2.2. Не индексирует текст/ссылки в тегах noindex
2.3. Пользуется указаниями мета-тега robots в заголовке страницы
2.4. Отслеживает статус отклика страницы (ловит 404 ошибки)
3. По окончанию выдает отчет по
3.1. Полный список страниц сайта, доступных для поискового робота
3.2. Страницам с ошибками 404 (откуда-куда)
3.3. Время генерации страницы
3.4. Страницы со схожим контентом
Из наиболее близких к этому - GSiteCrawler, но он не умеет 2.1, 2.2, 2.3, 3.4
Посоветуйте, на какую программу стоит обратить внимание?
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
FAQ
Поиск
Пользователи
Группы
Реклама
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
