GeekProxy в A-Parser

В A-Parser прокси не вбивают в один диалог. Они живут в проксичекерах: чекер загружает список из файла, по расписанию перепроверяет каждую строку и отдаёт живые адреса тем заданиям, которые его выбрали. В гайде собираем один чекер на списке GeekProxy, настраиваем авторизацию и разбираем настройки заданий, от которых зависит, как сильно нагружается каждый IP.

Что нужно: активный план GeekProxy и данные прокси из кабинета. Настройка занимает минут пятнадцать.

Получить прокси

1 Перед началом

A-Parser это серверный процесс с веб-интерфейсом. Работает на Windows, Linux и FreeBSD, а управляют им из любого браузера, так что машина с лицензией спокойно живёт на VPS. Лицензии бессрочные, младшая называется Lite. Бесплатного триала на официальном сайте мы не нашли.

  • Протоколы: HTTP, SOCKS4 и SOCKS5 одновременно. Логин и пароль поддерживаются для HTTP и SOCKS5, про SOCKS4 с авторизацией документация молчит
  • Форматы строк: ip:port плюс общие Authorization login и Authorization password, либо login:password@ip:port в каждой строке. Домены можно: domain:port и login:pass@domain:port в списке поддерживаемых
  • Список это файл proxy.txt в рабочей папке чекера. Окна для вставки нет
  • Чекер постоянно перепроверяет прокси, по умолчанию раз в 30 секунд. Это стоит потоков, подробности в разделе 5

Что понадобится

  • Активный план GeekProxy (датацентр, ISP или резидентские)
  • Данные прокси из кабинета: хост, порт, логин, пароль
  • A-Parser Lite, Pro или Enterprise с открытым веб-интерфейсом (официальные скриншоты сняты на Enterprise v1.2.1983)
Ваши данные доступа
  • Поле Откуда взять
  • Протокол HTTP / SOCKS5
  • Хост IP или имя шлюза из кабинета
  • Порт из кабинета
  • Логин из кабинета
  • Пароль из кабинета

2 Где взять данные прокси

  1. Войдите в кабинет GeekProxy
  2. Откройте план. У планов с оплатой за IP (датацентр, ISP) список адресов, порты, логин и пароль лежат прямо на карточке, а кнопка Export отдаёт весь список текстом
  3. У резидентских и мобильных планов нажмите Options. Панель Proxy Configuration соберёт строку логина со страной, городом и настройками сессии. Готовую строку копируйте из Proxy List

Экспорт плана с оплатой за IP ложится в proxy.txt почти без правок. План Residential Turbo вместо списка даёт одну строку шлюза. Такая строка это отдельный чекер, и в разделе 4 есть две настройки специально под неё.

A-Parser, настройки потоков
Кабинет GeekProxy, страница Subscriptions: планы ISP со ссылкой Export, планы Residential Flex и Turbo с кнопками Options и Add GB

3 Создаём проксичекер

Откройте пункт Проксичекер в левом меню. В шапке счётчики живых прокси и активных чекеров, под ними одна карточка с именем default. Её не трогайте. Документация прямо пишет, что default служит шаблоном для новых чекеров и не редактируется и не удаляется. Нажмите Добавить чекер.

У каждой карточки одинаковый набор полей: Working path, Update time, Last load count, Check queue/all, Total alive, Load state, Sources done/all и Check state. Рядом галка Включен и кнопка Restart, в её выпадающем меню Edit и Delete.

A-Parser, Проксичекер
Раздел Проксичекер в A-Parser: чекер default, вторая карточка чекера и кнопка Добавить чекер.

Параметры чекера лежат в Settings, вкладка Proxy Checker Presets. Для платного списка важны пять строк, остальное оставляйте по умолчанию:

  • Proxies type. По умолчанию стоит HTTP, SOCKS5, и это порядок проверки, а не тип списка: если проверка по HTTP провалилась, прокси перепроверяется как SOCKS. Выберите один тип, который совпадает с планом
  • Use proxy authorization. Ставьте, когда в списке есть логин
  • Authorization login и Authorization password. Заполняйте, если в proxy.txt лежат голые ip:port. При строках login:password@ip:port поля пустые, галка остаётся
  • Check threads (15) и Check interval (30 сек). Для десятка IP хватит с запасом
  • Save alive proxies to file. Включите, если потом хотите читать alive.txt

Жмите Save as New. Обычный Save на пресете default отбивается сообщением, так и задумано.

A-Parser, Settings → Proxy Checker Presets
Настройки проксичекеров в A-Parser: включена авторизация прокси, заполнены логин и пароль.

4 Кладём список в proxy.txt

У каждого чекера своя папка, files/proxy/<имя чекера>/. Чекер default держит файлы прямо в files/proxy/. Файлов четыре:

  • proxy.txt, по одному прокси в строке. Сюда и идёт экспорт из GeekProxy
  • sites.txt, ссылки на списки прокси, по одной в строке. Если пользуетесь им, proxy.txt по документации оставляют пустым
  • alive.txt, живые прокси, перезаписывается каждые 5 секунд при включённом сохранении
  • regex.txt, регулярки для выдёргивания прокси из страниц-источников. Готовому списку не нужен
# files/proxy/geekproxy/proxy.txt
# логин в каждой строке, галка Use proxy authorization стоит
LOGIN:PASSWORD@IP:PORT

# общий логин задан в пресете, либо план с белым списком IP
IP:PORT

Сохраните файл, поставьте на карточке галку Включен и нажмите Restart. Last load count должен совпасть с числом строк, а Total alive растёт по мере проверок. Loading type решает, что делать при перезагрузке: Replace заменяет список, Add дописывает.

files/proxy/geekproxy/proxy.txt
Файл proxy.txt в Блокноте: прокси записаны в формате логин:пароль@IP:порт, по одной на строку.

Одна строка под ротируемый шлюз

Шлюз Residential Turbo или Flex это одна строка, а выходной IP меняется за ней сам. Поставьте в пресете No check proxies. Тогда каждая загруженная строка считается живой без проверки, и документация называет это штатным вариантом для ротируемых шлюзов и списков с белым списком. Там же настаивают на одном значении Proxies type: пара по умолчанию описывает порядок проверки, а не тип вашего списка.

5 Подключаем чекер к заданиям

Пока задание не выбрало чекер, он ничего не делает. Откройте Settings, вкладку Configs Presets, найдите поле Proxy Checkers. Отметьте свой чекер или All, сохраните пресет, а потом выберите его как Threads Config в Task Editor. Парсер внутри задания может переопределить это своей настройкой Proxy Checker, и выбор парсера главнее.

В том же пресете лежат переключатели, которые решают, как расходуются прокси:

  • Max threads per proxy, по умолчанию 0, то есть выключено. Единица даёт одну операцию на прокси в один момент, самый щадящий режим для планов с оплатой за IP
  • Reuse proxy between retries. Документация советует его для одного прокси, у которого выходной IP меняется с каждым соединением. Это ротируемый шлюз, слово в слово
  • Proxy strategy, работает с сессиями: держать прокси после удачного запроса или каждый раз брать случайный
  • У парсера: Use proxy включён, Proxy ban time в секундах, Request timeout 60

Ещё одна галка, уже в пресете чекера: Exclude from "All". Она прячет прокси чекера от заданий, которые не выбрали его по имени. Удобно, когда в одном чекере лежат ISP-адреса под капризный парсер, а в другом датацентр для всего остального.

A-Parser, Settings → Configs Presets
Настройки потоков в A-Parser: открыт список проксичекеров, рядом поля потоков на прокси и повторного использования прокси.

Бюджет потоков. Общее число потоков равно сумме запущенных заданий и включённых чекеров с проверкой. При Check threads 15 один чекер съедает пятнадцать. Для маленьких списков уменьшайте, либо ставьте No check proxies.

6 Проверка работы

Смотреть в три места. Карточка: Total alive больше нуля. Папка: alive.txt наполняется, если сохранение включено. API: метод getProxies отдаёт те же прокси с типом и логином, массив checkers сужает выборку до одного чекера. Чтобы исключить сам A-Parser, проверьте одну строку из терминала:

curl -x http://LOGIN:PASSWORD@IP:PORT https://ipinfo.io/json

Поле ip должно показать адрес прокси, а не ваш: на ISP и датацентре это адрес из кабинета, на Residential и Turbo любой адрес из пула в выбранной стране.

7 Какой продукт GeekProxy подходит

A-Parser построен вокруг списка и чекера, поэтому планы с оплатой за IP ложатся в него без переходников. Датацентр IPv4 это бюджетный вариант под массовый парсинг выдачи, подсказок и контента: много адресов, HTTP или SOCKS5, счётчика трафика нет. Для парсеров, которые режут датацентровые сети, в первую очередь Google и Яндекс, грузите список статических ISP и ставьте Max threads per proxy в единицу. Шлюз Residential Turbo работает как чекер из одной строки с включёнными No check proxies и Reuse proxy between retries. Residential Flex живёт только по TCP, и HTTP-парсеры этого не замечают. Мобильные нужны под мобильную выдачу и парсеры магазинов приложений, больше ни для чего.

8 Частые проблемы

Total alive так и стоит на нуле

Начните с Proxies type: HTTP-план, который проверяют только как SOCKS5, проваливает каждую проверку. Потом Use proxy authorization и поля логина. Если стоит Check anonymous, поле External IP обязано быть заполнено, иначе проверка не идёт.

Save не сохраняет

Вы правите пресет default или чекер default. Нажмите Save as New и работайте с копией.

Потоков под задания меньше, чем даёт лицензия

Потоки чекера входят в общий лимит. Уменьшите Check threads, увеличьте Check interval или отключите проверку через No check proxies.

Ротируемый шлюз помечен мёртвым

Чекер проверил единственную строку, и проверка не прошла или отвалилась по таймауту. Поставьте No check proxies и один Proxies type.

Задание берёт прокси, которые ему не положены

В его конфиге потоков стоит All. Отметьте Exclude from "All" у чекера, который хотите уберечь, и выбирайте его явно в тех заданиях, которым он нужен.

Не получается? Напишите нам в Telegram, Discord или в чат на сайте. Обычно отвечаем в течение нескольких минут.

Прокси для A-Parser

Списки датацентра и ISP под проксичекер или резидентский шлюз одной строкой, HTTP и SOCKS5.

Заказать

We use cookies to improve user experience. By clicking "Yes, I agree", you consent to this use of cookies.

Привилегия первых: В честь глобального запуска [мы даем скидку 50%+] на все датацентр тарифы. Эксклюзивное предложение для наших стартовых партнеров.