Добавлено: Вс Май 21, 2006 5:25 am Заголовок сообщения:
Добавлена возможность сортировки по тИЦ, проверка тИЦ, фильтрация баз по тИЦ. Теперь скрипт можно получить в исходном виде и работать с ним на локалке или на своем сайте.
Добавлено: Пн Май 22, 2006 3:56 pm Заголовок сообщения:
Добавлена проверка на "русскость" каталогов - умная. Более устойчивый скан тИЦ. Подробная статистика по базе, позволяющая быстро определить ее ценность. Особенно будет полезно продавцам баз для объективной демонстрации товара - просто приведете рассчитанную по базе статистику и будет понятно на что она годится.
Пример статистики:
--------------------------------------------------
PR/количество: 0/0 1/0 2/0 3/180 4/72 5/33 6/3 7/0 8/0 9/0
PR1-3: 180, PR3-6: 288, PR6-9: 3, среднее PR=3.4
Неизвестных тИЦ: 0, min тИЦ=0, max тИЦ=29000, среднее тИЦ=555.0
тИЦ0-100: 181, тИЦ100-500: 33, тИЦ500-1000: 31, тИЦ>1000: 43
При PR>=3 -- тИЦ>=100: 107, тИЦ>=300: 91 тИЦ>=500: 74
При PR>=4 -- тИЦ>=300: 53
(PR/ср.тИЦ) : 0/0 1/0 2/0 3/177.1 4/1036.0 5/1211.9 6/2875 7/0 8/0 9/0
Доменов 3 уровня и выше: 115, отличных от RU доменов: 85
Каталогов, подготовленных под автозаполнение: 0
--------------------------------------------------
Добавлено: Чт Май 25, 2006 9:14 pm Заголовок сообщения:
Теперь утилита поддерживает формат базы submitter 2.9.4,
вышедшей вчера и по инициативе нашей утилиты теперь тоже
поддерживающей тИЦ и некоторые сортировки.
Сделанный анализ показывает, что на текущий момент утилита остается на порядок удобнее встроенных средств сабмитера. Не спрашивайте почему - субъективно. Сабмитеру еще расти до таких возможностей, хотя, судя по тенденциям, если грамотно используют наши идеи, выйдет очень здорово. Сам буду голосовать за то, чтобы возможности утилиты были перенесены в сабмитер полностью.
Добавлено: Пн Май 29, 2006 5:45 am Заголовок сообщения:
По просьбам пользователей в сервис теперь добавлена функция проверки "мертвых каталогов" по ответу сервера "200 ОК" для запрашиваемой страницы.
Так же в новой версии скрипта улучшен алгоритм работы с тИЦ - теперь есть опция проверки бана Яндекса, из-за которой в других программах после проверки половина базы оказывается с нулевыми тИЦ и PR.
Улучшена проверка "русскости" каталогов в базе - теперь работает быстрее.
Добавлена возможность сразу прилепить новую базу к старой, а не только выявить новые каталоги.
Добавлена возможность просмотра прицины удаления каталога из базы по фильтрам. Теперь сразу видно почему тот или иной каталог не прошел проверку в базе.
Всем владельцам программы для получения новой версии достаточно написать запрос по почте (http://web-gid.ru/tools/basefix.phtml на этой странице). Для новых покупателей цена снижена до 7(5)$ !
Принимаются пожелания. Планируется реализация программки в виде exe. Программка будет выдаваться владельцам скрипта бесплатно.
Так же улучшена работа с проверкой других опций и мелкие сервисные улучшения. Демка по-прежнему здесь - http://www.web-gid.ru/tools/basefix.phtml. За апдейтами обращайтесь на почту.
PS. В связи с удорожанием Сабмитера и с тем, что в нем нет многих подобных функций, утилита с понедельника будет стоить 10$. До этого времени купить можно так же, всего за 7.
Добавлено: Пн Июн 05, 2006 5:34 am Заголовок сообщения:
Вышла новая версия. В ней улучшена работа с проверкой убитых ссылок. Теперь можно самостоятельно решить, какие коды ответов сервера считать убитыми ссылками. Так же можно отфильтровать редиректы, forbidden и пр. коды.
Наконец-то актуализирован help.
За апдейтами обращайтесь на почту.
Покупка теперь стоит $10, зато можно получить подарки...
Добавлено: Ср Июн 07, 2006 6:30 am Заголовок сообщения:
Алгоритм проверки белости каталога. На данный момент по соотношению <качетсво определения/разумная скорость> самый лучший, что придумали. Предлагаем на обсуждение и если будет перспектива, можно встроить в утилиту.
----
Процесс состоит из двух этапов.
1. Проверить прямые ли ссылки (достаточно просто)
2. Проверить требуются ли обратки
Первое, как уже написал, сравнительно не сложно определяется парсингом, главное точно нацелиться на нижний уровень, а не попасть в рубрикатор. Проблема больше техническая.
Второе сложнее, т.к. тут вообще с виду не подобраться. Решение:
Берем выборочно пару (число уточняется) ссылок из каталога из разных разделов и идем на эти сайты. Если на них нет ответных ссылок, значит велика вероятность, что каталог белый.
Проблемы:
а) страниц на сайте много и ссылки можно искать оч. долго. Нужно определить вероятность и выбрать наиболее важные участки поиска, на основании которого сделать с определ. вероятностью вывод, что ссыолк не найдено.
б) Сайт может быть недавно в каталоге и ссылок обратных еще не поставить. ли не поставил вообще, но в каталоге недавно и можеры его еще не удалили. Или в каталоге давно, но ссылки грохнул и еще не удален. В общем, есть опр. вероятность, но не большая.
Пункт а решается так же парсингом ответа Я. на предмет ссылающихся страниц.
Добавлено: Вт Июн 13, 2006 5:45 am Заголовок сообщения:
Новая версия проверяет «забаненность» сайтов в базе с точностью до подкаталога, например, site.ru может быть не забанен, а подкаталог site.ru/links/ - забанен – это будет обнаружено.
Новая версия умеет проверять дубли в базе – еще на этапе загрузки обнаружит дублирующиеся ссылки в самой базе и откинет их перед дальнейшей работой. Работает быстро! Дубли проверяются сразу по всем загружаемым базам.
Новая версия так же умеет проверять URL в базе на корректность. Известно, что в базах часто накиданы «битые» ссылки типа «[link]» и т.п. в поле адреса. Такие ссылки будут исключены на этапе загрузки.
Количество найденных битых ссылок и дублей сообщается.
Новая версия умеет читать сразу из txt. При том достаточно, чтобы url были разделены хотя бы одним пробелом (не обязательно построчно). Т.е. в любом виде программка сможет считать текстовый файл с url`ами – при этом сохраняются остальные функции – проверка дублей и корректности ссылок. Программа сама распознает какой формат ей подсунули txt или xml.
Новая версия умеет открывать базы SmileSeoTools, при этом сама отличает их формат от других баз. Правда сохраняет только в txt или формат AllSubmitter. SmileSeo умеет импортировать эти базы, так что этих возможностей должно хватить. При открытии баз формата SmileSeoTools утилита вытаскивает оттуда в комментарии часть доп. информации, которая не предусмотрена в AllSubmitter, но может пригодиться.
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах