Защита IP
Статьи
Компоненты пакета
Вы, наверное, уже знаете, что поисковые системы неодобрительно относятся к автоматическим запросам, которые производят различные seo-программы, скрипты и т.п. Такие запросы запрещаются правилами пользования поисковых систем, а чрезмерная активность в использовании seo-программ может привести к временному бану IP адреса, что делает невозможным дальнейшую автоматическую работу.
Однако есть и хорошие новости – если у вас 1-2 небольших проекта, то вы с проблемой защиты IP скорее всего вообще не столкнетесь. Во всех остальных случаях вам будет достаточно соблюдать несколько простых правил, для того чтобы избежать этой проблемы.
Информация, приведенная в этой статье, может показаться чересчур обширной и запутанной. – но только на первый взгляд. Вначале мы подробно расскажем обо всех возможностях защиты IP адреса, а затем приведем несколько конкретных, часто применяемых схем. Вы сможете выбрать ту, которая для вас больше всего подходит.
Прежде чем начать разбирать настройки хочу развеять одно заблуждение. Меня иногда спрашивают – может ли использование автоматических программ привести к каким-то санкциям в отношении продвигаемого сайта. Отвечаю – нет, не может. Бан IP адреса – это единственная возможная санкция со стороны поисковых систем, никаких других не бывает.
Главная цель защиты IP – уменьшить интенсивность запросов к поисковой системе. Чем меньше производится запросов в единицу времени, тем больше поведение программы похоже на поведение обычного пользователя, тем меньше вероятность бана.
Глубина поиска – самый первый параметр на который мы должны обратить внимание. Число запросов к поисковым системам прямо пропорционально числу ключевых слов и глубине поиска. Число ключевых слов мы уменьшить не можем – программа для того и сделана, чтобы проверять позиции. А вот с настройкой глубины поиска можно поработать.
Прежде всего следует напомнить известную истину – если сайта нет в первых 30 результатах, можно считать, что его вообще нет в выдаче поисковой системы по данному запросу. Проверка же позиций обычно ведется на несколько большую глубину, примерно на 50-100 позиций. Это и есть оптимальные значения для проверки.
Некоторые пользователи предпочитают вести проверку на максимально возможную глубину в 1000 результатов. Естественно, проверка на такую глубину требует гораздо большего числа запросов и гораздо быстрее приводит к бану IP адреса. Хотим сказать – проверка на глубину более 100-200 позиций лишена всякого смысла!
Предвижу возражения: «мы проверяем на глубину 1000 для того, чтобы отслеживать динамику позиций и оценивать правильность наших действий по оптимизации сайта. Позиции повысились – значит делаем все правильно, упали – что-то нужно доработать.». Звучит логично, однако это неверный подход. Все изменения позиций на большой глубине носят в большей степени случайный характер. Т.е. если ваш сайт с 800-й позиции переместился на 600-ю, а затем на 750-ю, то это абсолютно ни о чем не говорит. Такие колебания случаются сами по себе, вне зависимости от ваших действий над сайтом.
Именно поэтому рекомендованная глубина поиска – 50-100 позций. Также рекомендуется использовать опцию «Поиск до первого вхождения», что также уменьшит число запросов. Впрочем эта опция выбрана в программе «по умолчанию».
Теперь рассмотрим ряд опций, которые можно задавать через меню Настройки->Защита IP
Паузы. Использование пауз в работе программы – самое очевидное решение для снижения нагрузки на поисковые системы.
Понятно, что если пользователь просматривает 2-3 страницы в минуту, а программа – 20-30 страниц за то же время, то это и служит признаком автоматических запросов. Используя паузы можно сделать так, что программа будет проверять позиции даже медленнее, чем человек – но все же в автоматическом режиме, т.е. без нашего участия.
Программа позволяет делать три вида пауз:
1. Паузы между запросами. За каждый запрос программа скачивает одну страницу с результатами поиска. Обычно запросы следуют один за другим. Но можно задать использование пауз между этими запросами.
Паузы (и все прочие настройки защиты IP) задаются индивидуально для каждой поисковой системы. Нужно задать три значения – минимальная, средняя и максимальная пауза. Как работают эти цифры: по 20% всех запросов пройдут с минимальной и максимальной паузой, остальные 60% - со средней паузой.
Поясним на примере: если мы выставим паузы мин-сред-макс в 3-20-60 сек. То 20% запросов пройдут с задержкой в 3 секунды, 20% - с задержкой в минуту и 60% - с задержкой в диапазоне 15-25 секунд. В конце статьи мы приведем оптимальные значения пауз для различных поисковых систем.
2. Паузы между группами слов. Эта опция очень полезна для проверки больших проектов в 200-300 ключевых слов и, наоборот, для небольших проектов не применяется.
Работает она следующим образом: после проверки некоторого числа ключевых слов программа делает достаточно большую паузу в работе. Этим мы даем «передышку» поисковой системе и после паузы можем возобновить работу с прежней интенсивностью.
Такие паузы следует делать после каждых 30-40 слов. Число слов зависит от глубины поиска, поисковой системы и должно подбираться опытным путем. Иногда можно делать паузу после 70 слов, а иногда – уже после проверки 20 слов следует остановиться. Паузы должны быть достаточно длительными – примерно 30 минут после каждой группы слов. Меньшие паузы не имеют смысла.
3. Паузы между проектами. Эта опция задается в отдельном модуле «Планировщик». Планировщик позволяет в автоматическом режиме осуществить проверку сразу нескольких проектов. Пауза между проектами позволяет задать задержку между окончанием проверки одного проекта и началом проверки следующего.
Рекомендованная пауза между проектами – 1 час (60 минут).
Основным недостатком при использовании пауз становится слишком медленная проверка проектов. Работать с программой становится не очень удобно. Выходом в данном случае является использование планировщика заданий. Используя планировщик, вы можете, например, задать список необходимых для проверки проектов, оставить компьютер «на ночь» и утром получить готовые отчеты. Т.е. медленная скорость проверки в данном случае не станет препятствием для комфортной работы – программа «потихонечку», без вашего участия соберет всю необходимую статистику, а вы получите уже готовые отчеты.
Важное замечание: если блокировка IP уже наступила, то использовать паузы для решения проблемы можно будет только тогда, когда блокировка будет снята – обычно через 1-2 часа.
Число результатов за один запрос. Большинство поисковых систем по умолчанию выдают 10 результатов поиска на одну страницу. Однако этот параметр можно менять и получать по 100 результатов за раз. И в том и в другом случае к поисковой системе делается один запрос – однако число полученных результатов меняется в 10(!) раз.
Таким образом, можно очень существенно снизить нагрузку на поисковую систему путем получения 100 результатов поиска за один запрос вместо обычных 10.
Метод имеет один существенный недостаток. При использовании опции поиска «100 результатов на странице» некоторые поисковые системы выдают сайты в немного измененном порядке, чем при обычном поиске. Т.е. при обычном режиме поиска сайт находится, например на 15 позиции, а в режиме «100 результатов» на 12. Расхождения обычно несущественны, не более 2-3 позиций, но они есть. Т.е. страдает точность проверки.
Следует сразу сказать, что описанная проблема касается прежде всего поисковой системы Google. В то же время Яндекс дает одинаковые результаты в обоих режимах.
Поэтому использование данной опции рекомендовано для Яндекса. Использовать ли ее для Google – оставляем на ваше усмотрение.
Ручной ввод капчи. Капча – специальное изображение с цифрами или буквами, которое вы должны ввести вручную, чтобы подтвердить, что поиск ведет человек, а не автомат. При блокировке IP адреса поисковые системы не блокируют полностью доступ к своим сервисам, однако просят ввести данные с картинки, предотвращая тем самым автоматический доступ к своим ресурсам.
Semonitor предоставляет вам две опции «Google: показывать капчу» и «Яндекс: показывать капчу». Если эти опции выбраны, то программа при обнаружении капчи позволит вам ввести ее вручную и затем продолжит поиск в автоматическом режиме.
Достоинства метода очевидны – можно работать с программой и снимать позиции в автоматическом режиме даже при блокировке IP адреса.
Недостаток состоит в необходимости периодического ручного ввода информации., т.е. достичь 100% автоматизации не удается. Особенно это касается поисковой системы Яндекс, которая запрашивает капчу в несколько раз чаще, чем Google.
Тем не менее ручной ввод капчи решает множество проблем и является одним из самых эффективных и удобных в использовании.
Сервис anti-captcha.com. Данный сервис www.anti-captcha.com имеет множество «операторов», которые занимаются ручным распознаванием капч. Это снимает с нас необходимость ручного контроля за работой проектов.
В случае, если бан IP адреса наступил, программа сама отправит капчу на anti-captcha.com, получит ее значение и затем «введет» в поисковую систему.
Использование сервиса является очень хорошей альтернативой ручному вводу капчи и позволяет осуществлять автоматическую проверку позиций, даже если бан IP уже наступил.
Сервис платный, но цены абсолютно символические. - 1$ за 1000 распознанных капч. Т.е. 1$ вам хватит на несколько месяцев работы.
Регистрация в сервисе производится по «инвайтам». Получить код приглашения можно у нас, обратившись к нам по е-майл (www.semonitor.ru/contact.html).
Yandex.xml. Поисковые системы запрещают использование автоматических запросов. Однако для этого правила есть исключение. Поисковая система Яндекс предоставляет специальный сервис XML для автоматических программ.
Использование данного сервисов не только разрешено, но и рекомендовано Яндексом для всех видов автоматического сбора информации. При работе с XML бан IP адреса полностью исключается (!). Для использования Яндекс.xml необходимо зайти по адресу xml.yandex.ru и указать свой IP адрес, с которого будут производиться автоматические запросы.
Далее следует в программе выставить опцию Настройки->Использовать Яндекс.xml
Главное ограниченияе xml - позволяется делать 1000 xml-запросов в сутки с одного IP адреса. За каждый xml-запрос скачивается 20 позиций.
Т.е. например проект из 50 слов при проверке в трех Яндексах (Москва, Петербур, Регионы) на глубину 100 позиций "израсходует" 50*3*(100/20) = 750 xml-запросов. Или, например, можно проверить большой проект из 200 слов - но только по одному Яндексу (например, Яндекс-Москва). Таким образом, если проектов много - то желательно иметь несколько IP адресов, чтобы была возможность использовать несколько суточных лимитов.
Нам часто задают вопрос – «а что делать, если у меня динамический IP адрес»? Ответ – никаких проблем. Нужно просто каждый раз перед началом работы указывать свой текущий IP адрес в xml.yandex.ru. Это занимает всего несколько секунд.
Яндекс: проверка в один поток. По нашим наблюдениям, проверять «несколько Яндексов» одновременно (например Яндекс.Москва, Яндекс.Петербург и Яндекс.Самара) с одного IP практически невозможно. Для этого мы сделали специальную опцию «Яндекс: проверка в один поток».
Таким образом, если вы ведете проверку нескольких поисковых систем (Гугл, Яндекс, Рамблер и т.д.) одновременно, то программа будет работать в многопоточном режиме (проверять Гугл-Яндекс-Рамблер параллельно), но все «Яндексы» будут проверяться последовательно относительно друг друга – т.е. Яндекс.Петербург запустится только после того, как отработает Яндекс.Москва и т.п.
Серверная проверка. 100% работающее решение, снимающие все проблемы. При использовании этой опции проверка ведется с нашего сервера и все проблемы с защитой IP также решаются на нашей стороне - вы просто получаете готовые результаты. Недостаток заключается в том, что серверную проверку необходимо оплачивать. Подробно
Случайные прокси. При использовании этой опции каждый запрос к поисковой системе идет с нового IP адреса, что полностью снимает вопросы бана IP
Наилучшим решением в данном случае будет использование платных прокси. К сожалению, таких сервисов не так уже и много. Те, что нам удалось отыскать перечислены на странице www.semonitor.ru/proxy.html
Следует соблюдать несколько рекомендаций при выборе прокси. Прокси должны быть:
- анонимными. Т.е. не передавать ваш исходный IP адрес. «Прозрачные» прокси для этих целей не подходят.
- желательно, чтобы прокси были «выделенными» или «эксклюзивными». Т.е. эти прокси настраиваются индивидуально для вас и пользуетесь ими только вы.
- для работы с программой достаточно примерно 5-20 выделенных прокси. Необходимое количество зависит от интенсивности работы. Если вы используете «общие» прокси, то необходимое количество будет зависеть от того, как много других оптимизаторов пользуется тем же прокси-серверами
- при проверке позиций желательно, чтобы прокси были из вашего региона (для России – предпочтительно использовать российские прокси). Данное правило касается прежде всего поисковой системы Google. Проверку Яндекса можно осуществлять и с помощью зарубежных прокси, т.к. в случае с Яндексом программа «жестко» задает регион для проверки (Москву, Петербург и т.д.), вне зависимости от используемого IP адреса.
Схема 1. «Вебмастер-одиночка». Предполагает продвижение только собственных ресурсов и работу с 1-5 проектами с общим числом слов не более 100.
Рекомендованные настройки:
Google: паузы между запросами 3-20-60 сек. (мин-сред-макс) ИЛИ опция «Показывать капчу»/«Использовать анти-капчу».
Яндекс - использовать ЯНДЕКС.XML - это полностью снимает ВСЕ проблемы с Яндексом. Суточный лимит xml-запросов с одного IP адреса позволяет проверить 100 слов в трех Яндексах (Москва, Петербург, Регионы) на глубину 50 позиций.
Если же лимита xml-запросов не хватает и нет возможности увеличить число IP адресов, то следует использовать следующую схему:
Яндекс: паузы между запросами 10-15-100 сек
Яндекс: 50 результатов за запрос
Яндекс: проверка в один поток
Установите опцию «Яндекс: показывать капчу» или используйте сервис anti-captcha.com.
Общая идея данной схемы защиты такова: насколько возможно используем XML. Если лимита не хватает - подключаем паузы
Использованием пауз снижаем интенсивность нагрузки на Яндекс, а капча/антикапча идут «на подстраховке». Наш опыт показал, что использование только пауз или только анти-капчи является недостаточным – следует применять комбинацию этих двух методов.
Схема 2. «Оптимизатор». Предполагает продвижение 5-15 проектов с общим числом слов не более 500.
Прежде всего следует рассмотреть вопрос о получении достаточно количества IP адресов, чтобы организовать проверку через Яндекс.xml. При невозможности - используем паузы+автоматизацию запуска проектов.
Использование пауз приводит к тому, что работа программы сильно замедляется. И если проверка 1-2 проектов под «ручным контролем» не вызывает трудностей, то запускать поочередно 15 проектов – уже проблема.
Поэтому в данном случае будем использовать планировщик заданий. Мы можем выставить все нужные паузы, задать список проектов и оставить планировщик «на ночь». Программа «потихоньку» соберет все позиции в автоматическом режиме.
Значения пауз устанавливаем те же, что и в предыдущей схеме, но теперь в обязательном порядке используем сервис anti-captcha – т.к. в данном случае проверка будет вестись полностью автоматически и ручной ввод капчи нам не подходит.
Кроме того добавляем паузу 1 час (60 минут) в планировщике между запусками проектов.
Схема 3. «Серверная проверка». В этом случае проверка осуществляется на нашем сервере и все проблемы с защитой IP решаются на нашей стороне. На своем компьтере вы просто получаете результаты сканирования. Подробно
Схема 4. «Прокси». Использование прокси-серверов также подходит для всех.
Следует сказать, что если вам в сутки нужно проверять более 500 запросов, то "Серверная проверка", либо "Прокси" – практически единственные удобные решения. Если же запросов меньше – то можно использовать любую из схем защиты на выбор.
Copyright © 2002-2007 Semonitor - программа для раскрутки сайта