Список форумов SeoChase SeoChase

 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы  РекламаРеклама   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Как подсунуть роботу ДОРВЕЙ при индексации ?
На страницу 1, 2  След.
 
Начать новую тему   Ответить на тему    Список форумов SeoChase -> Работа поисковиков
Предыдущая тема :: Следующая тема  
Автор Сообщение
legat
Квоттер


Зарегистрирован: 14.07.2004
Сообщения: 185
Откуда: UA, Севастополь

СообщениеДобавлено: Ср Авг 11, 2004 5:11 am    Заголовок сообщения: Как подсунуть роботу ДОРВЕЙ при индексации ? Ответить с цитатой

При индексации робота, он должен посылать какой-либо Хеадер на сайт. IP HTTP_AGENT какой-либо. Кто-нибудь пробовал выделить среди посетителей робота по каким-либо параметрам и сгенерить ему не обычную страницу для посетителей, а небольшой такой (килобайт на четыреста) Word List ? Как при брутфорсе допустим %)))
--------------------
дистанционное обучение-бухгалтерские курсы, похудение, курсы английского, свой бизнес, новости - русская идея, феминизм, экономика, экология, наркомания, спид, курсы бухгалтеров, дистанционное образование, вечернее обучение, бизнес план, подготовительные курсы, курсы, бизнес


Последний раз редактировалось: legat (Пт Мар 30, 2007 10:54 am), всего редактировалось 6 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
kochugov
Квоттер


Зарегистрирован: 22.06.2004
Сообщения: 372
Откуда: msk

СообщениеДобавлено: Ср Авг 11, 2004 7:11 am    Заголовок сообщения: Ответить с цитатой

это называется КЛОАКИНГ Rolling Eyes
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Mauser
Secretary of the Treasury


Зарегистрирован: 20.06.2004
Сообщения: 2272

СообщениеДобавлено: Ср Авг 11, 2004 10:42 am    Заголовок сообщения: Ответить с цитатой

legat.... за такое банят. Но пока не забанили - мы этим пользуемся Smile По айПи конечно лучше всего. Или по факту что робот скриптов не выполняет если лень вообще возиться. Или по юзер-агенту. На вкус.
_________________
Золото | Реальность | Серебро | Gun auction
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
legat
Квоттер


Зарегистрирован: 14.07.2004
Сообщения: 185
Откуда: UA, Севастополь

СообщениеДобавлено: Ср Авг 11, 2004 11:06 am    Заголовок сообщения: Ответить с цитатой

1) Какой именно IP ? Ну не может помоему у них быть всего ОДИН IP. Как именно его выделить ?

2) А как по факту невыполнения скриптов ? Ява или VB ???

3) HTTP_USER_AGENT А это как ? Им влом добавить отправку этого параметра на хостер и данный параметр отсутствует ?

4) А если на странице расположить <div style="VISIBILITY: hidden;">Группа ударных кейвордов</div>

Такое проиндексируют ? И если нет, по причине невидимости, то наверное нет проблема сделать видимым, а потом скриптом скрыть по загрузке.


Последний раз редактировалось: legat (Вт Май 08, 2007 4:11 pm), всего редактировалось 8 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
kochugov
Квоттер


Зарегистрирован: 22.06.2004
Сообщения: 372
Откуда: msk

СообщениеДобавлено: Ср Авг 11, 2004 4:34 pm    Заголовок сообщения: Ответить с цитатой

legat писал(а):
1) Какой именно IP ? Ну не может помоему у них быть всего ОДИН IP. Как именно его выделить ?


у каждого поисковика их (IP) много, очень...

legat писал(а):

2) А как по факту невыполнения скриптов ? Ява или VB ???


IMHO, Mauser написал про Javascripts (наверно про куку)

legat писал(а):

3) HTTP_USER_AGENT А это как ? Им влом добавить отправку этого параметра на хостер и данный параметр отсутствует ?


у всех роботов есть USER_AGENT
т.к. роботы работают по стандартам, то они обязаны его передавать

legat писал(а):

4) А если на странице расположить <div style="VISIBILITY: hidden;">Группа ударных кейвордов</div>
Такое проиндексируют ? И если нет, по причине невидимости, то наверное нет проблема сделать видимым, а потом скриптом скрыть по загрузке.


проиндексируют....
но за такое тоже банят Smile
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
legat
Квоттер


Зарегистрирован: 14.07.2004
Сообщения: 185
Откуда: UA, Севастополь

СообщениеДобавлено: Ср Авг 11, 2004 11:36 pm    Заголовок сообщения: Ответить с цитатой

Цитата:
у каждого поисковика их (IP) много, очень...

И как выделить НУЖНЫЙ IP ???
Подсеть всю накрывать чтоли ?

Цитата:
IMHO, Mauser написал про Javascripts (наверно про куку)

Так если кука не установлена, как это поможет ?
И как через проверку выполнения Ява скриптов сделать ? Они ведь уже не имеют отношения к серверу. Разве что Ява скрипт будет менять строку SRC у нулевого фрейма, а скрипт сервера ждёт несколько секунд запроса в этот нулевой фрейм. Но IMHO это кривой метод.

Цитата:
у всех роботов есть USER_AGENT
т.к. роботы работают по стандартам, то они обязаны его передавать


Тогда нет смысла его проверять. Значит Маузер что-то не то сказал. Или может ему неинтересно, чтобы ламеры взрослели и умнели 8-\


Последний раз редактировалось: legat (Вс Мар 25, 2007 2:47 pm), всего редактировалось 6 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Mauser
Secretary of the Treasury


Зарегистрирован: 20.06.2004
Сообщения: 2272

СообщениеДобавлено: Чт Авг 12, 2004 1:22 am    Заголовок сообщения: Ответить с цитатой

legat Smile Я все так сказал, это ты не так подумал Smile

1. ip поисковиков. Идешь в логи. Ищешь тех кто назвался гуглем или яховским слурпом. Суешь эти айпи в хуиз датабейз и видишь кто собственних их. Если Google Inc, CA, то сам понимаешь... они Smile. Весь этот диапазон направляешь куда тебе хочется.

2. скрипты. Яваскрипты. В том и цимус что происковик не выполняет скриптов (правда может попытатьсяих пропарсить), но... яваскриптовый редирект будет выполнен человеком и не будет поисковиком. То есть в корень ты кладешь дрвей, но в шапку его суешь яваскриптовый редирект на реальный сайт. Соответственно люди улетят туда, а поисковик нет. И да, куки тут совершенно непричем.

3. юзер-агенты. Если ты посмотрел на логи как я тебе советовал, то ты заметишь что паук всегда называется собой. соответственно юзер агент передае6тся в запросе еще, и ты можешь решать что отдавать тому или иному юзер агенту.

каждый способ имеет свои плюсы и минусы. Яваскрипт поще всегои может быть сунут на любой самый расбесплатный хост. Юзерагент прост, но некто может его легко подделать и выдать себя за поисковик вычислив чем ты кормишь пауков (и настучать на тебя например). По IP способ самый хороший (защищает даже от ревьюверов гугля отчасти), но самый трудоемкий в плане слежения за базой айпи. Они иногда меняются.

Кстати, пищу ты тоже предпочитаешь кем-то пережеванную? Smile
_________________
Золото | Реальность | Серебро | Gun auction
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Web-women
Квоттер


Зарегистрирован: 22.07.2004
Сообщения: 433
Откуда: Санкт-Петербург

СообщениеДобавлено: Чт Авг 12, 2004 3:42 am    Заголовок сообщения: Ответить с цитатой

Mauser писал(а):

Кстати, пищу ты тоже предпочитаешь кем-то пережеванную? Smile

Mauser, шеф-повар не жует пищу, он ее готовит, сервирует... Кстати, пост был на редкость полезный (для любознательных ла.. специалистов, вроде меня). Smile
_________________
Студия flash-анимации
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Гость






СообщениеДобавлено: Чт Авг 12, 2004 4:09 am    Заголовок сообщения: Ответить с цитатой

Мда... Полезная инфа для Эээ... Начинающих специалистов %)))

Тоесть делаем вывод: $HTTP_USER_AGENT не только может быть I-Explorer, Mozila, Netscape, Opera, Lynx и пр. Но он ещё может быть и Google Inc.
Вся суть вопроса к этому и сводилась Smile Этого я не знал.

ЗЫ.
Маузер, я тут собираю Интернет Магазин небольшой такой. Можешь посоветовать, как поддержку сессии сделать ? Тоесть я делаю на Куках и в куке сразу содержимое корзины храню. ID товаров через двоеточие(Smile
Это нормально ? И есть-ли альтернатива кукам в данном случае ?
Если их отрубят, как можно сделать накопление корзины ?
Вернуться к началу
legat
Квоттер


Зарегистрирован: 14.07.2004
Сообщения: 185
Откуда: UA, Севастополь

СообщениеДобавлено: Чт Авг 12, 2004 4:13 am    Заголовок сообщения: Ответить с цитатой

Выше мой пост.
_________________
Евсеев Евгений Александрович (антигерой) русская идея - новости
центр : дистанционное обучение-бухгалтерские курсы, микроконтроллеры avr, похудение и набор веса, эффективная диета, воспитание детей, курсы английского языка


Последний раз редактировалось: legat (Пн Дек 19, 2005 2:30 am), всего редактировалось 4 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Back Door Man
Квоттер


Зарегистрирован: 02.07.2004
Сообщения: 151

СообщениеДобавлено: Чт Авг 12, 2004 7:52 am    Заголовок сообщения: Ответить с цитатой

Цитата:
Можешь посоветовать, как поддержку сессии сделать ? Это нормально ? И есть-ли альтернатива кукам в данном случае ?

Поддержку сессии надо делать через сессии. Laughing В РНР, например.

Альтернативы кукисам практически нет. Есть другие способы работы сессий (подмена УРЛ, передаваемые параметры), но все они неудобны


Последний раз редактировалось: Back Door Man (Чт Авг 12, 2004 12:01 pm), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Mauser
Secretary of the Treasury


Зарегистрирован: 20.06.2004
Сообщения: 2272

СообщениеДобавлено: Чт Авг 12, 2004 11:58 am    Заголовок сообщения: Ответить с цитатой

legat, сухи о моем зании пхп сильно преувеличены. Не того человека спрашиваешь.
_________________
Золото | Реальность | Серебро | Gun auction
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
legat
Квоттер


Зарегистрирован: 14.07.2004
Сообщения: 185
Откуда: UA, Севастополь

СообщениеДобавлено: Сб Авг 14, 2004 8:35 am    Заголовок сообщения: Ответить с цитатой

Сделал поддержку сессий через сессии. Но теперь в строке адреса навечно поселился идентификатор сессии. Имя я ему поменял на ID но всёравно длина здоровая. Это плохо. В мануалах говорится, что если Куки включены, то идентификатор гасится там, но у меня почему-то он там не гасится, а всегда передаётся в строке заголовка. Как можно этот глюк победить ? Что-то очень простое до тупости, но я не знаю.
Определяется всё просто:
SESSION_NAME("ID"); session_start(); ... $_SESSION['enable']="1";

А передаваемые параметры, это уж слишком жестоко %)))

ЗЫ.
Прости Маузер, не в тему, но очень нужен ответ :-)))


Последний раз редактировалось: legat (Пт Мар 23, 2007 10:43 am), всего редактировалось 3 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
ua3nbw
Lincoln


Зарегистрирован: 23.06.2004
Сообщения: 153

СообщениеДобавлено: Сб Авг 14, 2004 12:47 pm    Заголовок сообщения: Ответить с цитатой

http://www.alesh.ru/web-building/php/doorway-cloack-how-to/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
CoffeeMan
Пенни


Зарегистрирован: 06.07.2004
Сообщения: 3

СообщениеДобавлено: Чт Авг 19, 2004 4:03 am    Заголовок сообщения: О сессиях Ответить с цитатой

Без php-сессий и куков можно хранить данные в полях форм
типа hidden:

<input type="hidden" name="корзина" value="id_товаров">
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов SeoChase -> Работа поисковиков Часовой пояс: GMT
На страницу 1, 2  След.
Страница 1 из 2

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах


Powered by phpBB © 2001, 2005 phpBB Group