AAD, честно говоря повеселили А что мешает закрывать сайт от индексации? Когда мне не нужно чтобы поисковики на него заходили - я так и делаю.
А про воровство контента у поисковиков кто спрашивал? Вы?
А почему я собственно должен вообще знать что такое роботс.тхт?
Если я хочу, чтобы мой сайт искался конкретным поисковиком, то я должен подать заявку, а поисковик (представители) должен ее удовлетворить или нет.
Если поисковик заинтересован в моем сайте, то он должен у меня спросить: можно индексировать или нет?
Т.е. по логике, владелец сайта (заинтересованный в индексации своего сайта) должен создать файл (аналог роботс.тхт) и указать для каких поисковиков он открыт. Т.е. по умолчанию (без такого файла) сайт не должен индексироваться.
Лично я ничего не спрашивал у поисковиков, да и особо они меня не беспокоят. Просто мне не нравится, когда некоторые оптимизаторы видят в поисковиках судей по разрешению вопросов, связанных с плагиатом.
Просто оптимизаторы, наверное, лучше понимают, что единственные, кто способен это отследить, как раз поисковики. Причем, некоторые этой проблемой уже вплотную занимаются, судя по supplemental results.
да гуглю, по моему, положить на эту проблему авторства. у него есть другая, которую он и решает этими результатами - дублирование информации в собственном индексе.
Ого написали!
Фактически есть две возможности получить разрешение на индексацию: opt-in и opt-out. Opt-in -- это когда пользователь или правообладатель сам явно указал желание быть проиндексированным, другими словами галочка согласия с правилами не взведена уже по умолчанию, ее надо явно взвести. Opt-out -- это когда индексация проводится по умолчанию, от нее можно только отказаться, в аналогии с галочками -- галочка согласия уже взведена по умолчанию, а чтобы отказаться ее надо снимать.
Индексация поисковиками проводится по принципу opt-out, т.е. по умолчанию она разрешена, а чтобы запретить индексацию -- есть robots.txt. Представители Гугл заявляли, что если бы для индексации сайта требовалось перед этим спросить разрешение его владельца, то поисковики бы не появились, как вид, мы бы так и жили с каталогами и закладками.
Есть еще новостные сервисы, вот там действия разных компаний отличаются, Гугл работает аналогично основному поиску, а Яндекс.Новости -- уже opt-in, поскольку сначала пользователь должен к ним попроситься, а затем еще подписать договор.
С Гуглем как раз из-за такой схемы все суды и проходят, и не только Франц Пресс, а и бельгийский Копипресс тоже, о котором я писал и на этом форуме, не могу найти тему, и именно бельгийский суд требовал выплаты Гуглем 23 млн. долларов за несоблюдение судовых решений.
Но я бы хотел, чтобы при постановке вопроса "Поисковики воруют мой контент и используют его в своих корыстных целях!", то, во-первых, можно написать две строчки в маленьком файлике и поисковики не будут использовать ваш контент, а вот людей robots.txt не остановит, и, во-вторых, ну не было бы поисковиков, в каком интернете мы бы все варились? _________________ С уважением,
Владимир Чернышов
(не)?путевые заметки промоутера
Антон, дополнительные результаты Гугля -- это скорее дополнительный индекс по онлайн-мусору, который по алгоритмическим критериям не дотягивает до основного индекса, но не борьба с копипастингом и т.п. _________________ С уважением,
Владимир Чернышов
(не)?путевые заметки промоутера
Ну а с другой строны, занимаясь сейчас плотной некой темой, наткнулся на крупный портал ameno.ru и что я увидел? Что почти 60% контента этого крупного и коммерчески успешного проекта ПЕРЕПЕЧАТКИ
т.е. рассуждая о роботсах, о дополнительных результатах выдаче гугла и пр. не стоит забывать про такие вот успешные проекты. Которые клали и будут класть на этой, зарабатывая бабло на контенте других. Другое дело, что им респект за раскрутку и за то, что структуриваровали все.
он успешный только лишь потому что большинство, к сожалению, в рунет используют яндекс, а не гугл.
гугл же подобные "успешные" проекты душит. посмотрите:
1. количество страниц в индексах яндекс и гугл
2. количество трафика с яндекс и гугл
3. позиции сайта по лучшим запросам в яндекс и гугл
вообщем яндекс своими действиями (у кого больше ссылок тот и прав) только увеличивает количество подобного рода спама.
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах
FAQ
Поиск
Пользователи
Группы
Реклама
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
А что мешает закрывать сайт от индексации? Когда мне не нужно чтобы поисковики на него заходили - я так и делаю.
