1 Перед началом

SEO Spider работает на Windows, macOS и Ubuntu Linux, только 64 бита. На момент написания актуальна версия 24.3. Без лицензии программа обходит до 500 URL за краул, а вкладка Proxy лежит в общем окне Settings, так что для настройки хватит бесплатной сборки.

• Прокси можно задать только один. Списка, ротации и чекера внутри программы нет
• Исключений нет. Документация формулирует прямо: либо весь HTTP и HTTPS трафик идёт через прокси, либо ничего
• Изменения вступают в силу только после перезапуска. Окно Settings об этом напоминает и предлагает перезапустить само
• Поле Address принимает доменное имя (в официальном примере стоит хост с портом 3128), так что адрес шлюза подходит не хуже IP
• Авторизация: пара Username и Password под галкой Use Proxy Credentials. В документации речь только об HTTP-прокси, SOCKS не упоминается, на него не рассчитывайте

Что понадобится

• Активный план GeekProxy (Residential Turbo, ISP или датацентр)
• Данные прокси из кабинета: хост, порт, логин, пароль
• Screaming Frog SEO Spider, бесплатный или с лицензией, на любой из трёх платформ

2 Где взять данные прокси

1. Войдите в кабинет GeekProxy
2. Откройте план. У планов с оплатой за IP (датацентр, ISP) список адресов, порты, логин и пароль лежат прямо на карточке, а кнопка Export отдаёт весь список текстом. Выберите один адрес: больше Screaming Frog не возьмёт
3. У резидентских и мобильных планов нажмите Options. Панель Proxy Configuration соберёт строку логина со страной, городом и настройками сессии. Готовую строку копируйте из Proxy List

Резидентские планы здесь подходят лучше всего: одна запись шлюза сама меняет выходные адреса. Выберите страну в Options, решите, нужна ротация или липкая сессия, и получите хост, порт, длинный логин и пароль. Эти четыре значения один в один ложатся на поля вкладки Proxy.

Кабинет GeekProxy, Residential Flex

3 Открываем вкладку Proxy

Путь зависит от платформы, и в одной из недавних версий он переехал, поэтому старые ответы на форумах ведут не в то меню.

• Windows и Linux: File > Settings > Proxy
• macOS: Screaming Frog SEO Spider > Settings > Proxy, меню приложения слева в строке меню

Откроется окно Settings со списком слева: Licence, User Interface, Language, Proxy, Storage Mode, Memory Allocation, Embedded Browser, Trusted Certificates. Нажмите Proxy. Подсказка справа сообщает, что для обхода сайтов прокси обычно не требуются. Это правда, но поля всё равно на месте.

Screaming Frog SEO Spider, меню приложения в macOS

4 Заполняем поля и перезапускаем

1. Поставьте галку Use Proxy Server
2. Address: хост из кабинета или доменное имя шлюза резидентского плана. Когда значение распознано, рядом появляется зелёная галочка
3. Port: PORT. Ещё одна зелёная галочка
4. Включите Use Proxy Credentials, в Username впишите LOGIN, в Password впишите PASSWORD. Для плана в режиме белого списка эту галку не ставьте
5. Появится плашка: Please restart for these changes to take effect. Нажмите OK and Restart

Обычная кнопка OK сохраняет значения без перезапуска, и отсюда большинство жалоб «не работает». Прокси записан, но не активен до следующего запуска. Нажали OK по привычке? Закройте программу и откройте снова.

Screaming Frog SEO Spider, Settings → Proxy

Screaming Frog SEO Spider, плашка перезапуска

5 Один прокси на весь трафик

Раз исключений нет, через прокси идёт весь трафик программы, а не один обход. FAQ называет два следствия. Первое: может сломаться авторизация Google Analytics и Search Console. Поток OAuth редиректит на localhost, и прокси, перехвативший этот редирект, убивает вход. Подключайте эти интеграции до включения прокси или выключайте его на ту минуту, что занимает вход.

Второе: корпоративный прокси с подменой SSL вызывает ошибку PKIX Certificate Path Error, потому что Spider таким прокси по умолчанию не доверяет. Лечится добавлением сертификата прокси в Trusted Certificates в том же окне Settings. Шлюз GeekProxy в TLS не вмешивается, с ним этой ошибки не будет. Упоминаем её потому, что на неё натыкаются при переключении между офисным прокси и нашим.

Идёт ли через прокси headless Chromium, который рендерит JavaScript, в руководстве по рендерингу не сказано. Если рендер-обход обязан выходить с IP прокси, проверьте это (следующий раздел), прежде чем на это рассчитывать.

6 Проверка работы

После перезапуска прогоните https://ipinfo.io/json как одиночный URL. Status Code 200 в основном списке значит, что запрос прошёл через прокси и прокси его выпустил. Потом откройте тот же URL в обычном браузере без прокси и сравните: адрес, который увидел Spider, должен отличаться от вашего. Для полной картины прогоните сайт, чей access-лог вы можете читать, и посмотрите IP клиентов.

Та же проверка из терминала, когда нужно отделить проблему прокси от проблемы Spider:

curl -x http://LOGIN:PASSWORD@IP:PORT https://ipinfo.io/json

Screaming Frog SEO Spider, обход через прокси

7 Какой продукт GeekProxy подходит

Одна точка входа, доменное имя разрешено, логин и пароль, HTTP CONNECT. Это портрет ротируемого шлюза, поэтому для обходов, которые блокируют с датацентровых диапазонов, по умолчанию берём Residential Turbo. Каждое соединение может выйти с другого домашнего IP, а липкая сессия держит один адрес, когда сайту нужна стабильность. Residential Flex делает то же с фильтром выхода по Windows или Android и таргетингом по ZIP в США, а его ограничение «только TCP» для HTTP-обхода не играет роли. Для аудита своих сайтов проще один адрес ISP или датацентра IPv4: FAQ сам советует добавить IP и user agent паука в белый список на сервере, а для этого нужен статический адрес.

8 Частые проблемы

Connection Refused, Connection Error или Connection Timeout на каждом URL

Первый совет из FAQ: проверить, не включён ли случайно прокси в File > Settings > Proxy. В нашем случае верно и обратное: прокси включён, но адрес, порт или данные неверны, либо план истёк. Прогоните строку curl выше с теми же значениями.

Поменял настройки, и ничего не изменилось

Нажали OK вместо OK and Restart. Перезапустите программу. Любая правка прокси в Spider требует перезапуска.

PKIX Certificate Path Error

На пути стоит прокси с подменой SSL, обычно корпоративный, про который забыли. Добавьте его сертификат в Trusted Certificates или уберите этот прокси из цепочки.

Не подключаются Google Analytics или Search Console

Прокси перехватывает редирект OAuth на localhost. Выключите прокси, подключите аккаунт, включите прокси обратно. Два перезапуска, увы, зато работает.

Обход останавливается на 500 URL

К прокси отношения не имеет. Это лимит бесплатной версии на один краул.