1 Перед началом

FAQ самого Netpeak говорит честно: для большинства SEO-задач в Spider прокси не нужны. Нужны они, когда сайт режет частые запросы с одного IP или блокирует его, либо когда обход должен идти из конкретной страны. Этот случай и разбираем.

• Речь о Windows-линейке, версия 3.x (на момент написания 3.12). Приложение для macOS живёт отдельной линейкой 1.x, и ни в его changelog, ни в справке настройки прокси не описаны. Есть ли там вкладка Proxy, подтвердить не можем
• Настройка общая для программы, не для проекта. Один список на все обходы
• В справке упоминаются только HTTP-прокси. На SOCKS не рассчитывайте
• Поле Host or IP принимает только IPv4. Шлюзы с доменным именем и IPv6 отпадают, берите план с оплатой за IP и обычными адресами
• Триал три дня, дальше подписка помесячно. Вкладка Proxy входит в обычные настройки

Что понадобится

• Активный план GeekProxy с адресами IPv4 (датацентр или ISP)
• Данные прокси из кабинета: хост, порт, логин, пароль
• Netpeak Spider 3.x для Windows, триал или оплаченный

2 Где взять данные прокси

1. Войдите в кабинет GeekProxy
2. Откройте план. У планов с оплатой за IP (датацентр, ISP) список адресов, порты, логин и пароль лежат прямо на карточке, а кнопка Export отдаёт весь список текстом
3. У резидентских и мобильных планов нажмите Options. Панель Proxy Configuration соберёт строку логина со страной, городом и настройками сессии. Готовую строку копируйте из Proxy List

Для Spider нужен именно экспорт плана с оплатой за IP. Каждая строка должна прийти к виду Host:Port:Login:Password: четыре поля через двоеточие, логин и пароль в конце. Если экспорт отдаёт поля в другом порядке, поправьте в текстовом редакторе до вставки.

Кабинет GeekProxy, Subscriptions

3 Загружаем список в Settings → Proxy

Откройте Settings и выберите вкладку Proxy. Она стоит в одном ряду с General, Advanced, User Agent, Restrictions, Authentication и остальными. Поставьте галку Use a list of HTTP proxies. Пока она снята, таблица ниже просто украшение.

Netpeak Spider, Settings → Proxy

Заполнить таблицу можно тремя способами. Enter manually (Ctrl+D) открывает окно, куда вставляют по одному прокси на строку. Add row (Ctrl+N) добавляет пустую строку под ручной ввод. Обычный Ctrl+V или кнопка Paste кладут в таблицу содержимое буфера обмена. Для плана GeekProxy на десяток адресов и больше разумен первый вариант.

IP:PORT:LOGIN:PASSWORD
185.123.45.68:PORT:LOGIN:PASSWORD
185.123.45.69:PORT:LOGIN:PASSWORD

Короткая форма Host:Port тоже принимается. Она для плана GeekProxy в режиме белого списка, когда логин не нужен. Порт без явного значения становится 80, а это почти никогда не то, что вам надо, поэтому порт пишите всегда.

Netpeak Spider, Enter manually

4 Проверяем список и чистим мёртвые

Spider проверяет прокси сам, как только они добавлены. У каждой строки появляются Status Code и Response Time. Коды читаются как в HTTP: 200 всё хорошо, 403 прокси отказал в доступе, 407 нужна авторизация либо логин с паролем неверны.

Чтобы прогнать проверку заново, нажмите Check и выберите, через что проверять: Internet access, Google, Bing, Yahoo или Yandex. Варианты с поисковиками важны, если вы снимаете выдачу: прокси может быть живым и при этом забаненным в Google. Stop прерывает проверку. Delete удаляет все строки, выделенные или только мёртвые. Перед длинным обходом удалите мёртвые один раз и сэкономьте на повторах.

Netpeak Spider, таблица после Check

Netpeak Spider, варианты Check

5 Потоки, ротация и трафик API

Ротация круговая, и настраивать её нечем. При одном потоке каждый запрос уходит со следующего прокси в списке, а в конце списка круг начинается заново. При нескольких потоках запросы уходят одновременно с разных прокси. Ни липких сессий, ни привязки к сайту нет. Число потоков задаётся на вкладке General, так что по одной вкладке Proxy не понять, как сильно нагружен каждый адрес.

Простая арифметика помогает. Двадцать прокси и десять потоков: каждый адрес шлёт запрос примерно через круг. Двадцать прокси и сорок потоков: по два параллельных запроса с адреса в любой момент. Если сайт капризный, держите потоков не больше, чем прокси.

На той же вкладке есть галка Use proxy for requests to API, появилась в версии 3.7. Она пускает через список ещё и обращения Spider к сторонним API. Без причины не включайте: поставщикам API обычно не всё равно, с какого IP их дёргают.

6 Проверка работы

Что прокси отвечают, таблица уже показала. Второй вопрос: ходит ли через них сам обход. Прогоните краул по сайту, access-лог которого вы можете читать, лучше всего по своему, и посмотрите адреса клиентов в логе. Каждый запрос должен приходить с адреса прокси, а не с IP вашего офиса. Если прокси несколько, адреса в логе чередуются строка за строкой: так выглядит круговая ротация.

Лога под рукой нет? Тогда хотя бы проверьте каждый адрес вне Spider одной строкой:

curl -x http://LOGIN:PASSWORD@IP:PORT https://ipinfo.io/json

7 Какой продукт GeekProxy подходит

Spider хочет список IPv4 HTTP-прокси с логином и паролем по желанию и ротацией на каждый запрос. Это почти по определению список датацентра IPv4: много разных адресов, HTTP, без счётчика трафика и достаточно дёшево, чтобы загрузить полсотни. Когда сайт блокирует датацентровые диапазоны, замените список на статические ISP: для сайта они выглядят домашними подключениями и тоже приходят обычными IPv4. Ротируемые резидентские планы работают через шлюз с доменным именем, а поле Host or IP по документации принимает только IPv4, так что для этой программы мы их не советуем.

8 Частые проблемы

Status Code 407 во всех строках

Логин или пароль неверны либо их нет. Проверьте порядок полей: хост, порт, логин, пароль. Если план в режиме белого списка, ваш текущий IP должен быть добавлен в кабинете.

Status Code 403

Прокси отказал в доступе. На плане GeekProxy это обычно истёкший план или несовпадение с белым списком. Сначала загляните в кабинет и посмотрите статус плана.

Строка с прокси не вставляется

В первом поле доменное имя или IPv6. Spider принимает туда только IPv4. Замените строку числовым адресом из плана с оплатой за IP.

У меня macOS, и вкладки Proxy не видно

Приложение для macOS это отдельная линейка 1.x, и прокси в её документации не описаны. Подтвердить наличие вкладки мы не можем. Если список прокси обязателен, работайте в Windows-версии.

Cloudflare всё равно режет обход

Статья Netpeak про Cloudflare советует не прятаться за прокси, а попросить владельца сайта добавить user agent паука в белый список. Для своих сайтов это решение чище.