SeoChase

WebByte

Да никто, но мне привычнее с cURL работать. Возможностей больше, а геморроя меньше.

Банить-то банит, но при куче запросов со статического ip, он забанит еще быстрее этот ip.

fk

WebByte, ну привычка это дело почти святое... только геморно оно пока ты не совсем в теме, когда в теме все просто.
Про ип-ы - отдельная тема... если нет договоренностей с поисковиками то придется извращаться, когда частота запросов станет запредельной, но в данном случае можно и без проксей и без извращений... не думаю что 1000 запросов разом раз в месяц кто-то заметит...
да помоему мы немного откланились от основной темы... Smile

WebByte

Думаешь, у меня 1000 запросов в месяц? Smile

У меня их в день столько.. В хучшем случае.

fk

Возможно, но я о топике... речь шла о проверке ссылок через яндекс Smile

)) Там 1000 в месяц будет достаточно... о ней и шла речь Smile

Ну а при постоянном обращении - это конечно, без изврата с проксиками не обойтись.

Leonid

ИМХО, по мере раскрутки своего XML-сервиса Яндекс начнет активнее банить любителей автоматических чекеров.
Почему бы не чекать сайты напрямую? Вот только робот давольно сложный получается если чекер должен быть полностью автоматический и универсальный.
Ведь ваш линк сегодня может быть на первой странице, а завтра на второй, а через неделю на 10й... Прийдется роботу ходить по URL'ам каталога ссылок и искать на всех (пока не найдет) страницах.
А так как системы ссылок частенько отличаются друг от друга (например URL'ы вида: site.com/links/3 или site.com/links.php?pg=12 или site.com/partners.php?catid=3847&p=2 и т.д....), то прийдется учитывать и этот фактор для каждого сайта... Еще не забыть про robots.txt и <NOINDEX>. И неплохо бы учитывать "разные стили" написания тегов <a href> (<a href="site.com"> или <a href=site.com> или <a title="opisanie" href=site.com> и т.д....).
Вобщем тем, кто еще никогда не "изобретал велосипед" и не писал собственного html-парсера не стоит даже браться за это.
Все чекеры, которые я видел, очень далеки от идеала. С чем это связано я понял, когда начал писать собственный на PHP (хотя на perl подобных штук писал множество). Wink

WebByte

Leonid

Хотел бы сказать - так и сказал бы.
Писал на perl подобные скрипты, но не такие же.
Вообще, за годы программирования я понял, что написать можно все. Вопрос только в трудозатратах и их целесообразности. Соотношение нужность/сложность.
При большом желании можно написать скрипт полностью автоматического поиска сайтов (с формой для обмена ссылками), обмена и контроля ссылок. Вот только сложность во много раз превышает нужность...