1 Перед началом

Octoparse ставится на Windows 10 64-bit и новее и на macOS, а ещё умеет гонять задачи в облаке на серверах Octoparse. На момент написания актуальна сборка 10.2.1. Бесплатный план ничего не стоит, карту не спрашивает и даёт 10 задач, 1 устройство, локальный сбор и 50 000 экспортированных строк в месяц. Свои прокси работают именно в локальных запусках, так что для гайда хватит бесплатного плана.

Четыре ограничения определяют всё, что ниже.

• Только HTTP-прокси. Справка пишет это капсом: Octoparse can only support HTTP proxies. SOCKS не вариант
• Без логина и пароля. В документации прямо сказано, что прокси с авторизацией по логину не поддерживаются, значит авторизуемся белым списком IP
• Адрес и порт в виде ip:port, по одному прокси в строке. Поле рассчитано на IP-адреса
• Только локальные запуски. Облачные запуски совместимы только со встроенными прокси Octoparse, что бы вы ни выбрали в задаче

Собственные прокси Octoparse продаёт отдельно по $3 за гигабайт при балансе от $3. Этот гайд про ваши.

Что понадобится

• Активный план GeekProxy с несколькими адресами (ISP или датацентр IPv4)
• План переведён на белый список IP в кабинете, и в списке есть внешний IP машины с Octoparse
• Octoparse 10.x на Windows или macOS, любой тариф

2 Где взять данные прокси

1. Войдите в кабинет GeekProxy
2. Откройте план. У планов с оплатой за IP (датацентр, ISP) список адресов и порты лежат прямо на карточке, а кнопка Export отдаёт весь список текстом. Нужен формат ip:port и ничего больше
3. Переключите авторизацию плана на белый список IP и добавьте внешний адрес компьютера, на котором будет работать Octoparse. Логин программа отправить не умеет, так что шаг обязательный
4. У резидентских и мобильных планов кнопка Options открывает панель Proxy Configuration. Эти планы выдают имя шлюза плюс логин, а это не тот формат, которого ждёт поле в Octoparse. Прежде чем пробовать их здесь, спросите поддержку

Ещё момент про белый список. В нём лежит адрес, с которого подключается Octoparse, то есть ваша домашняя или офисная линия, а не прокси. Если провайдер выдал линии новый IP, обновите список, иначе каждый запуск будет падать с ошибкой соединения без объяснений.

Octoparse, кнопка Proxy в редакторе

3 Три диалога прокси, нужен один

Настройки прокси в Octoparse лежат в трёх местах, и люди регулярно заполняют не то.

Первое на экране входа. Нажмите там Settings, и откроется диалог Proxy Login с полями IP Address, Port, Username, Password и кнопкой Test Connection. Он проводит через прокси только вход на серверы Octoparse, для тех, кто сидит за корпоративной сетью. Справка формулирует жёстко: этот прокси не используется ни при редактировании задач, ни при парсинге. Пропускайте.

Второе внутри задачи: Task Settings, вкладка Anti-blocking. Вот оно и влияет на запуски. Про него раздел 4.

Третье в редакторе воркфлоу: кнопка Proxy в правом верхнем углу. Она пускает через прокси загрузки страниц, пока вы собираете задачу, и может передать те же прокси запускам.

Octoparse, диалог Proxy Login (только вход)

4 Добавляем список в Task Settings

1. Откройте задачу и зайдите в Task Settings. В левой колонке: Scheduling, Auto-export, Run Options, Downloads, Custom Alerts и Anti-blocking. Нужна последняя
2. Поставьте галку Access websites via proxies. Откроется одноимённый диалог
3. Выберите переключатель Use my own proxies и нажмите Configure рядом с ним
4. В диалоге Proxy Settings задайте Switch every (в примере стоит 60s) и вставьте строки в поле IP Proxies, по одной IP:PORT на строку. Нажмите Confirm
5. В первом диалоге поставьте галку Use the same proxies for task runs и нажмите Save
6. Теперь нажмите кнопку Save в левом верхнем углу интерфейса. Без неё настройки испаряются

Подсказка в самом поле описывает формат: IP-адрес и порт через двоеточие, по одному серверу в строке. Вставка из буфера остаётся единственным способом импорта, который описан в документации.

Octoparse, Task Settings → Anti-blocking

Octoparse, Proxy Settings (свои прокси)

5 Прокси в редакторе и ротация

Пока вы собираете воркфлоу, встроенный браузер грузит целевой сайт с вашего IP. Нажмите Proxy в правом верхнем углу редактора и выберите свои прокси. Галка Use the same proxies for task runs передаст их запускам. Документация добавляет оговорку, и мы её повторим: выбор своего прокси в редакторе не делает его доступным облачному запуску.

Ротацией здесь занимается Octoparse, а не прокси. На старте задача берёт прокси из вашего списка и переключается на следующий через интервал из Switch every. На паузе задачи переключение тоже останавливается. Рядом на вкладке Anti-blocking есть два соседа, Auto-switch user agents и Auto clear cookies. Они меняют user agent или сбрасывают cookies при смене IP.

Исключение: страницы под логином. Документация советует держать IP стабильным, пока вся сессия не переживёт тест с ротацией. Ставьте длинный интервал или одну строку.

Octoparse, кнопка Proxy в редакторе

6 Проверка работы

Создайте одноразовую задачу с адресом https://ipinfo.io/json, переключите кнопку Proxy в редакторе на свой список и дайте странице загрузиться. В поле ip должен стоять один из ваших адресов GeekProxy, а не ваша линия. На плане ISP или датацентра это ровно адрес из кабинета. Потом запустите задачу локально и прочитайте извлечённый текст.

Прежде чем винить Octoparse, проверьте сам прокси из терминала на той же машине. Без логина в команде, план ведь на белом списке:

curl -x http://IP:PORT https://ipinfo.io/json

Если curl отбивает, вашего текущего IP нет в белом списке. Если curl работает, а Octoparse нет, перечитайте шаг 6 из раздела 4.

7 Какой продукт GeekProxy подходит

Чистый HTTP, IP-адрес с портом буквально, без логина, ротация по таймеру на стороне Octoparse. Хрестоматийный случай для списка статических адресов. ISP-прокси дают чистые IP из провайдерских сетей, которые переживают долгие сессии на магазинах и маркетплейсах, а датацентр IPv4 закрывает нетребовательные сайты дешевле за адрес. Оба переключаются на белый список IP в кабинете и экспортируются тем самым списком ip:port. Residential Turbo, Flex и мобильные планы работают через имя шлюза с логином, под которое это поле не рассчитано. Берите их для других инструментов или сначала спросите нас.

8 Частые проблемы

Страницы перестают грузиться, как только включаю прокси

Обычно в белом списке нет адреса, с которого подключается Octoparse. Откройте https://ipinfo.io/json в обычном браузере без прокси, скопируйте значение ip и добавьте его в кабинете. Потом прогоните строку curl из раздела 6.

Вставил login:password@ip:port, и ничего не работает

Octoparse читает строку как адрес и падает. Принимается только IP:PORT. Уберите логин с паролем и переведите план на белый список.

Облачный запуск игнорирует мои прокси

Так и задумано. Свои прокси работают только локально, облако берёт лишь встроенный пул Octoparse. Запускайте на своей машине или покупайте кредиты на их прокси.

Заполнил Proxy Login, а парсинг всё равно идёт с моего IP

Этот диалог отвечает только за вход в Octoparse. Прокси для парсинга живёт в Task Settings, вкладка Anti-blocking. Раздел 4.

После перезапуска настройки пропали

Диалоги подтвердили, а кнопку Save в левом верхнем углу интерфейса пропустили. Повторите и нажмите Save последней.