Список форумов SeoChase SeoChase

 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы  РекламаРеклама   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Нужен ли файл ROBOTS.TXT или можно обойтись без него?

 
Начать новую тему   Ответить на тему    Список форумов SeoChase -> Работа поисковиков
Предыдущая тема :: Следующая тема  
Автор Сообщение
Валерий Ермолаев
Дайм


Зарегистрирован: 02.07.2006
Сообщения: 18
Откуда: Волжск

СообщениеДобавлено: Вс Июл 02, 2006 7:55 pm    Заголовок сообщения: Нужен ли файл ROBOTS.TXT или можно обойтись без него? Ответить с цитатой

Андрей, нужен файл ROBOTS.TXT или можно обойтись без него? Насколько его отсутствие существенно для поисковика?
_________________
Устали быть "вечным начинающим" онлайновым предпринимателем и есть желание начать хоть что-нибудь делать и зарабатывать в онлайне? Хотите за 95 минут перейти из этой категории в категорию продвинутого бизнесмена?
http://www.copysecrets.teleseminar.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Кира
Lincoln


Зарегистрирован: 17.01.2005
Сообщения: 213

СообщениеДобавлено: Пн Июл 03, 2006 6:59 am    Заголовок сообщения: Ответить с цитатой

Хоть я не Андрей, но отвечу Smile
Можно обойтись и без робот.тхт
Робот.тхт в основном нужен для запретов.
При отсутствии этого файла поисковик заглядывает во все файлы и папки. Если вас не смущают квоты поисковых систем на индексацию файлов, и сообщения об ошибках в логах, то можете не вспоминать про этот файл.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
andre
Big Boss


Зарегистрирован: 27.06.2004
Сообщения: 2953
Откуда: Kazan

СообщениеДобавлено: Пн Июл 03, 2006 9:59 am    Заголовок сообщения: Ответить с цитатой

Кира писал(а):
Хоть я не Андрей, но отвечу Smile
Можно обойтись и без робот.тхт

Спасибо, Надежда. А я добавлю ссылки. Smile

Как правильно заполнять файл robots.txt
_________________
С уважением,
Андрей Иванов.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
minaton
Квоттер


Зарегистрирован: 03.09.2004
Сообщения: 708
Откуда: Москва

СообщениеДобавлено: Пн Июл 03, 2006 11:28 am    Заголовок сообщения: Ответить с цитатой

Можно и без этого файла обойтись, но если на сайте много страниц и много папок, то робот поисковика будет генерить кучу 404 ошибок и забьет весь лог-файл.

Это я к тому, что файл можно сделать хотя бы пустой и положить в корень сайта.
_________________
Promotext.ru и Sape.ru - специально для оптимизаторов и вебмастеров
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Валерий Ермолаев
Дайм


Зарегистрирован: 02.07.2006
Сообщения: 18
Откуда: Волжск

СообщениеДобавлено: Пн Июл 03, 2006 7:05 pm    Заголовок сообщения: Ответить с цитатой

minaton писал(а):
Можно и без этого файла обойтись, но если на сайте много страниц и много папок, то робот поисковика будет генерить кучу 404 ошибок и забьет весь лог-файл.

Это я к тому, что файл можно сделать хотя бы пустой и положить в корень сайта.


Файл должен быть совсем пустой или стандартная шапка какая-то должна быть?
_________________
Устали быть "вечным начинающим" онлайновым предпринимателем и есть желание начать хоть что-нибудь делать и зарабатывать в онлайне? Хотите за 95 минут перейти из этой категории в категорию продвинутого бизнесмена?
http://www.copysecrets.teleseminar.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
minaton
Квоттер


Зарегистрирован: 03.09.2004
Сообщения: 708
Откуда: Москва

СообщениеДобавлено: Вт Июл 04, 2006 7:43 am    Заголовок сообщения: Ответить с цитатой

Валерий Ермолаев писал(а):

Файл должен быть совсем пустой или стандартная шапка какая-то должна быть?

Может быть совсем пустой
_________________
Promotext.ru и Sape.ru - специально для оптимизаторов и вебмастеров
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов SeoChase -> Работа поисковиков Часовой пояс: GMT
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group