1 Перед началом

Клиент ParseHub скачивается как ParseHub Setup.exe для Windows, ParseHub.dmg для Mac и ParseHub.AppImage для Linux. Проект вы собираете у себя, а настоящий запуск выполняется в облаке на серверах ParseHub с их IP-адресами. Бесплатный тариф даёт 200 страниц за запуск и 5 публичных проектов. В Standard и Professional есть пункт IP Rotation, а свои прокси заявлены для всех платных тарифов.

Есть ещё одна дверь. Справка пишет, что custom proxies нужно включить на аккаунте, и просит написать на [email protected]. Отправьте это письмо первым делом, иначе поле может ничего не делать.

• Формат строгий: IPAddress:Port:Username:Password, по одному прокси в строке
• Логин и пароль обязательны. Справка просит убедиться, что у ваших прокси они есть
• Статья рекомендует статические HTTP-прокси. SOCKS нигде не упоминается, на него не рассчитывайте
• Ротацию по вашим строкам делает ParseHub. Поля интервала нет, чекера нет

Что понадобится

• Активный план GeekProxy с логином и паролем (ISP или датацентр IPv4)
• Данные прокси из кабинета: хост, порт, логин, пароль
• ParseHub на платном тарифе, custom proxies включены их поддержкой

2 Где взять данные прокси

1. Войдите в кабинет GeekProxy
2. Откройте план. У планов с оплатой за IP (датацентр, ISP) список адресов, порты, логин и пароль лежат прямо на карточке, а кнопка Export отдаёт весь список текстом
3. Оставьте план в режиме логина и пароля. Белый список IP здесь бесполезен: подключается сервер ParseHub, чей адрес вы не контролируете
4. У резидентских и мобильных планов нажмите Options. Панель Proxy Configuration соберёт строку логина, но на выходе будет имя шлюза, а в примере ParseHub стоит IP. Считайте такую связку экспериментом, а не планом

Переложите экспорт в четырёхпольный формат. GeekProxy отдаёт хост, порт, логин и пароль по отдельности, ParseHub хочет их склеенными двоеточиями именно в таком порядке. Таблица или однострочный скрипт справятся за секунды. Порядок важен.

ParseHub, Rotate IP и поле Custom Proxies

3 Что идёт через прокси

Здесь ошибаются чаще всего. У ParseHub два вида запусков. Test Run выполняется на вашей машине, в десктопном клиенте. Настоящий запуск выполняется в облаке ParseHub, с их серверов и по умолчанию с их IP-адресов. Список своих прокси относится к облачным запускам: путь становится таким: сервер ParseHub, потом ваш адрес GeekProxy, потом целевой сайт.

Десктопный редактор продолжает грузить страницы с вашего соединения, пока вы кликаете по шаблонам. Справка описывает прокси только для облачных запусков, поэтому судите о настройке по настоящему запуску, а не по тому, что показывает редактор.

Без ротации, пишет справка, все их серверы находятся в Северной Америке. С ротацией и без своего списка прокси берутся из разных стран и назначаются запускам случайно. С вашим списком случайный выбор идёт по вашим строкам. Как часто ParseHub переключается между ними, на страницу или на запрос, в документации нет, так что ждите любого варианта.

4 Открываем Settings проекта

1. Откройте проект в клиенте ParseHub
2. Нажмите значок шестерёнки рядом с лупой в левом верхнем углу
3. Выберите Settings

Откроется страница настроек с заголовком Back to Commands. Ниже по странице идут Project title, Starting Site, Starting Template, Web Hook, Project Token и API Key. Потом Max Workers, Max Pages, Enable Email Notifications, Load JavaScript & Images и нужная вам галка Rotate IP Addresses. Дальше ещё несколько опций, включая Starting Value с Import from CSV/JSON. Набор строк немного зависит от версии.

ParseHub, меню шестерёнки проекта

5 Rotate IP Addresses и Custom Proxies

1. Поставьте галку Rotate IP Addresses. Внизу страницы появится поле Custom Proxies
2. Вставьте строки, по одной на строку, в виде IP:PORT:LOGIN:PASSWORD
3. Выйдите со страницы как из любой другой настройки ParseHub и запустите проект в облаке

В каждой строке нужны все четыре поля. Если адрес один, одной строки достаточно: ротации будет нечего ротировать, и для парсинга под логином это ровно то, что нужно. С несколькими адресами ParseHub размажет запуск по ним.

ParseHub, Settings → Rotate IP Addresses → Custom Proxies

6 Проверка работы

Соберите крошечный проект со Starting Site https://ipinfo.io/json, выделите текст страницы как единственное извлечение и запустите его в облаке, а не через Test Run. Поле ip в результате должно показать адрес GeekProxy. На плане ISP или датацентра это ровно адрес из кабинета, а не североамериканский сервер ParseHub. Server Snapshot того же запуска покажет, что видел их сервер.

До этого проверьте саму строку из терминала с теми же четырьмя значениями:

curl -x http://LOGIN:PASSWORD@IP:PORT https://ipinfo.io/json

Если curl работает, а облачный запуск всё равно выходит с адреса ParseHub, функцию на аккаунте, скорее всего, ещё не включили. Опять то письмо.

7 Какой продукт GeekProxy подходит

Статический список HTTP-прокси с логином и паролем, ротация на стороне вендора, подключение из чужого облака. Первый выбор ISP-прокси: стабильные чистые адреса, которые сайты принимают за домашнее подключение, а это важно, когда цель уже блокирует собственные диапазоны ParseHub. Датацентр IPv4 делает ту же работу дешевле на сайтах, которым всё равно. Оба экспортируются построчно с логином и паролем, то есть ровно в четырёхпольную форму. Шлюз Residential Turbo смотрелся бы здесь элегантно, но это имя хоста с логином, а в примере ParseHub стоит IP. Пока не проверим на платном аккаунте, обещать не будем.

8 Частые проблемы

Поле Custom Proxies не появляется

Сначала должна стоять галка Rotate IP Addresses, а функцию на платном аккаунте должна включить поддержка ParseHub. Оба условия сразу, а не одно из.

Test Run всё равно показывает мой IP

Тестовые запуски идут на вашем компьютере. Справка описывает прокси для облачных запусков, так что запустите настоящий и смотрите его результаты.

После включения ротации запуски стали медленнее

ParseHub предупреждал. Если сайт не блокировал их серверы, ротация добавляет хопы впустую. Выключите или оставьте меньше строк, зато быстрых.

Вставил login:password@ip:port

Не та форма. ParseHub ждёт ip:port:username:password с двоеточиями и без @. Поправьте каждую строку.

Ошибки авторизации на резидентской строке

Возможно, та самая проблема с realm из справки. Перейдите на строку ISP или датацентра с обычным логином и паролем и проверьте снова.