1 Перед началом

Таблица прокси в Key Collector 4 одна на всю программу. Из неё берут адреса все сборщики: Wordstat, Директ, выдача Яндекса и Google, подсказки, LiveInternet. Какой задаче какие прокси можно, решают группы и блок ограничений, о них ниже.

• Только Windows, только 64 бита. Нужны .NET Framework 4.8 и библиотеки Visual C++ 2015, 2017 и 2019
• Лицензия бессрочная, привязана к одному компьютеру. Файл лицензии от Key Collector 3 подходит к четвёрке без доплат
• Типы прокси: HTTP, SOCKS4 и SOCKS5, плюс флаг v4 или v6. Логин и пароль вводятся в отдельные колонки; для плана с белым списком IP их просто оставляют пустыми
• В документации адрес прокси описан как IP-адрес. Планы с оплатой за IP дают ровно это, с них и начинайте
• У программы своё хранилище cookie, браузеры на машине ни на что не влияют

Что понадобится

• Активный план GeekProxy (для этой программы ISP или датацентр)
• Данные прокси из кабинета: хост, порт, логин, пароль
• Установленный Key Collector 4 с указанным файлом лицензии
• Прокси не меньше, чем потоков под Wordstat и Директ. Подробнее в разделе 5

2 Где взять данные прокси

1. Войдите в кабинет GeekProxy
2. Откройте план. У планов с оплатой за IP (датацентр, ISP) список адресов, порты, логин и пароль лежат прямо на карточке, а кнопка Export отдаёт весь список текстом
3. У резидентских и мобильных планов нажмите Options. Панель Proxy Configuration соберёт строку логина со страной, городом и настройками сессии. Готовую строку копируйте из Proxy List

Экспорт держите открытым в текстовом редакторе. Key Collector хочет сначала адрес и порт, а уже потом логин с паролем, так что строки, скорее всего, придётся один раз переставить.

3 Добавляем прокси в «Настройки → Сеть»

Откройте настройки программы и перейдите на панель Сеть. Таблица прокси в самом низу. Первым делом поставьте галку Использовать прокси-серверы. Документация называет её главной опцией, и это не фигура речи: без неё сборщики таблицу не видят.

Над таблицей: выпадающий список группы, счётчик вроде 2/3 (активных из всех), поле для одного адреса с подсказкой 127.0.0.1:8080 и кнопка «+». Рядом иконки добавления списка, открытия, сохранения и копирования. Один прокси удобно вбить в маленькое поле. Целый план заносят через иконку списка: откроется окно Добавить прокси-серверы, куда вставляют по одному прокси на строку в любом из трёх форматов:

Адрес:Порт
Адрес:Порт@Логин:Пароль
Адрес:Порт@Логин:Пароль;(v4|v6);(http|socks4|socks5)

IP:PORT@LOGIN:PASSWORD;v4;http
185.123.45.68:PORT@LOGIN:PASSWORD;v4;http
185.123.45.69:PORT@LOGIN:PASSWORD;v4;socks5

Обратите внимание на порядок. Сначала адрес и порт, потом через @ логин и пароль. У большинства программ наоборот. Третий формат заодно задаёт версию IP и протокол, поэтому строки из примера попадают в таблицу уже настроенными.

После импорта у каждого прокси своя строка с колонками Адрес, Порт, Логин, Пароль, Protocol и IP. Галка в начале строки делает прокси активным. В работе участвуют только отмеченные, а красный или зелёный цвет строки просто повторяет состояние галки. Если вставляли короткий формат без протокола, задайте его потом. Правый клик по заголовку колонки Protocol открывает меню с HTTP, Socks 4 и Socks 5 сразу для всех выделенных строк.

4 Группы, ограничения и ошибки

Прокси лежат по группам, группа выбирается из списка над таблицей. Блок Ограничения использования разрешает или запрещает каждой группе участвовать в конкретных задачах. Пример из самой документации: группа выделенных IPv4 для тяжёлых задач и большой набор дешёвых IPv6 для всего остального. В переводе на GeekProxy: группа ISP под Wordstat и Директ, группа датацентра под выдачу и подсказки.

На той же панели ещё три настройки, которые влияют на ход сбора:

• Исключать прокси-сервер из локальной очереди, если встречено несколько ошибок подряд. Прокси с серией ошибок вылетает из очереди задачи до перезапуска сбора
• Лимит капчи для задачи. То же исключение после N капч. Документация просит не ставить порог слишком низко: капча время от времени это норма
• Таймаут сетевого ожидания и Кол-во повторных попыток загрузки страниц. Таймаут не занижайте, Яндекс отвечает не всегда быстро

Модель очереди простая. Задача копирует разрешённые активные прокси в локальную очередь, потоки берут их оттуда по кругу, нагрузка ложится ровно. Поэтому список отдельных IP здесь работает лучше, чем один ротируемый адрес.

5 Потоки и аккаунты Яндекса

Официальная рекомендация для Wordstat и Директа короткая: не больше одного потока на один IP-адрес и не больше потоков, чем активных аккаунтов Яндекса. Десять аккаунтов, десять прокси, десять потоков. Число потоков задаётся в настройках задачи в разделе «Настройки → Парсинг», рядом со списком аккаунтов.

Две детали, на которых спотыкаются чаще, чем кажется. Первая: аккаунт Яндекса получает прокси в момент входа и держит его в памяти до перезапуска программы. Правки в таблице на уже залогиненные аккаунты не действуют. Нажмите Сбросить авторизацию на вкладке аккаунтов, и они войдут заново уже через новые адреса.

Вторая: в «Настройки → Парсинг → Общие» есть режим снижения потоков. По умолчанию программа урезает потоки, когда живых прокси или аккаунтов осталось меньше, чем потоков. Режим «никогда не снижать» документация прямо называет опасным: последний живой прокси соберёт на себя все потоки, и задержка между запросами с одного IP схлопнется.

6 Проверка работы

Встроенного чекера прокси в Key Collector нет. Страница ошибок на официальном сайте идёт дальше: автоматические чекеры ненадёжны, проверяйте прокси руками в браузере. Пропишите прокси в сетевых настройках браузера, откройте internet.yandex.ru или https://ipinfo.io/json и сравните IP с прокси и без. Ошибка 407 в таком тесте означает неверный логин или пароль.

Из терминала та же проверка в одну строку:

curl -x http://LOGIN:PASSWORD@IP:PORT https://ipinfo.io/json

Дальше запустите маленькую задачу по Wordstat, фраз на двадцать, и смотрите журнал событий. Сетевые ошибки там подписаны адресом и портом прокси. Чистый журнал значит, что таблица в работе.

7 Какой продукт GeekProxy подходит

Key Collector хочет список отдельных стабильных адресов: один поток на IP, аккаунт прибит к одному прокси, сбойные адреса выпадают из очереди. Это модель оплаты за IP, поэтому под Wordstat и Директ первым выбором идёт статический ISP: аккаунты месяцами живут на одном чистом адресе. Под выдачу и подсказки хватит группы датацентра IPv4, это дешевле, и именно такое деление на две группы описывает сама документация. Ротируемый резидентский шлюз поставил бы все потоки за одну строку таблицы, а адрес в документации описан как IP, так что для этой программы мы его не советуем.

8 Частые проблемы

Ошибки прокси в журнале сразу после старта

В девяти случаях из десяти не сходятся логин или пароль, либо план в режиме белого списка, а вашего IP в нём нет. Проверьте один прокси в браузере, как описано выше. 407 всё подтвердит.

Всё замедлилось, и один прокси тянет всю нагрузку

Вы переключили режим снижения потоков в «Настройки → Парсинг → Общие» на «никогда не снижать». Верните значение по умолчанию. Тогда число потоков будет следовать за числом живых прокси и аккаунтов.

Заменил прокси, а аккаунт ходит через старый

Так и задумано. Прокси, выбранный при входе, остаётся за аккаунтом до перезапуска. Нажмите «Сбросить авторизацию» для нужных аккаунтов или перезапустите Key Collector.

Прокси пропадают из очереди посреди сбора

Их исключили ошибки подряд или лимит капчи, до следующего перезапуска сбора. Чуть поднимите «Лимит капчи для задачи» и проверьте, что таймаут не слишком жёсткий.

Шторм капчи и баны аккаунтов Яндекса

Потоков больше, чем IP, или больше, чем аккаунтов. Вернитесь к разделу 5. Один поток на IP, и это самое дешёвое лекарство из возможных.