Перевірка проксі

Перш ніж запускати проксі в роботу, їх потрібно перевірити: це правило однакове і для платного пакета приватних адрес, і для безкоштовного списку, завантаженого з форуму. Опис тарифу та реальний стан адрес майже ніколи не збігаються повністю: деякі IP уже вимкнені, деякі ледве тягнуть і передають кілька кілобайтів за секунду, деякі занесені до антиспам-баз і ловлять captcha вже на першому запиті, а деякі виходять в інтернет із країни, за яку ви взагалі не платили. Єдиний спосіб це побачити — пропустити список через онлайн-перевірку проксі.

Checker.net — це безкоштовний сервіс перевірки проксі, який працює прямо в браузері: без програм, без встановлення та без облікового запису. Ви можете вставити список у поле, прикріпити його як файл або надати посилання на нього. За кілька секунд для кожної адреси ви можете побачити:

Один запуск вміщує до 30 000 адрес: зручна масова перевірка проксі та перевірка списку проксі без обмеження кількості запусків. Результати не накопичуються до завершення перевірки; вони надходять потоком, тож таблиця зростає прямо перед вами.

Чекер проксі, він же proxy checker, валідатор або тестер проксі-листа, — це сервіс, який сам підключається до кожного проксі-сервера, надсилає через нього запити і за відповідями вирішує, чи придатна адреса. Без такого інструмента довелося б по черзі прописувати кожен IP у налаштуваннях браузера і дивитися, чи відкриється сторінка. Чекер робить те саме для всього списку одразу і видає не «наче працює», а таблицю з цифрами.

Інструменти цього класу сильно різняться тим, наскільки глибоко вони дивляться. Найпростіший чекер уміє сказати лише одне: адреса відповіла чи промовчала. Для реальної роботи цього недостатньо, бо проксі, що відповідає, ще не означає корисний. Він може числитися в десятці спам-баз. Може не пускати в ту соцмережу, заради якої його купили. Може розпізнаватися сайтами як серверний там, де потрібен домашній IP. Може тягнути з відповіддю по п'ятнадцять секунд там, де нормою вважаються сотні мілісекунд. Тому ми вимірюємо не лише факт доступності, а й якість: з'ясовуємо походження IP, дивимося на його репутацію, перевіряємо, як він поводиться на великих платформах, і зводимо все це в єдину оцінку.

Перевірка онлайн зручніша, ніж програма для перевірки проксі, і на це є три причини:

Після натискання «Почати перевірку» чекер читає список рядок за рядком. У кожному він визначає формат, виділяє хост, порт, логін і пароль, пропускає сміття і повторювані адреси. Потім усі проксі перевіряються паралельно: спочатку протоколи, далі решта параметрів.

Щоб перевірити протокол, перевіряльник відкриває з’єднання через проксі та викликає сервісний ресурс, який повідомляє IP-адресу клієнта, що до нього звернувся. Один такий запит дає багато інформації одразу: він підтверджує, що проксі працює, показує час відповіді та, найважливіше, розкриває вихідну IP-адресу — адресу, яку бачитимуть сайти.HTTP/HTTPS та SOCKS5перевіряються окремо. На тому самому хості й порту протоколи часто поводяться по-різному: в описі зазначено HTTP, але адреса насправді підтримує лише SOCKS, або навпаки.

Потім вихідна IP-адреса використовується для визначення місцезнаходження адреси та того, кому вона належить: країни, регіону, міста й типу — мобільна, резидентська чи корпоративна.

Водночас IP перевіряється за локальною базою даних чорного списку, яку ми регулярно оновлюємо з відкритих антиспам-репозиторіїв.

У повному режимі додається найцінніший крок: запити проходять через проксі до одинадцяти популярних сервісів, і стає зрозуміло, які з них пропускають цю адресу, а які зачиняють перед нею двері.

Результати надходять в інтерфейс щойно вони готові, а не одним пакетом у самому кінці. Навіть у довгому списку вам не потрібно стежити за індикатором виконання: перші рядки з’являються за кілька секунд, іробочі адресиможна взяти, поки засіб перевірки ще зайнятий рештою.

Головне, що потрібно знати про адресу, — чи вонапрацює. Якщо проксі не відповів, перевірка повідомляє чому: у з’єднанні відмовлено, час очікування минув, авторизація не вдалася або сервер повернувпомилка. Різниця тут принципова. "Адреса —мертвий" і "адреса існує, але в паролі є помилка" — це дві зовсім різні історії, ітекст помилкиодразу показує, чи варто відмовитися від проксі, чи просто виправити ваш список.

HTTP/HTTPS та SOCKS5перевіряються для кожної адреси окремо, і кожен протокол отримує власний час відповіді. Це показує, що проксі насправді може робити, а не те, що каже продавець. Це усуває дуже поширенупомилка: працездатний SOCKS-проксі позначається як несправний лише тому, що до нього звернулися як до HTTP.

Час відгуку — це скільки минає від надсилання запиту через проксі до приходу відповіді. Він вирішує все там, де важлива реакція: у браузері, при автоматизації дій в інтерфейсах, при парсингу в багато потоків короткими запитами. Швидкість каналу ми вимірюємо окремо. Вона важлива, коли через проксі прокачують великі обсяги: вивантаження, медіафайли, відео. Плутати ці дві цифри не варто — адреса може відповідати миттєво і при цьому віддавати дані зі швидкістю сотні кілобіт.

Чекер установлює, звідки взята адреса: з мережі мобільного оператора, з домашнього підключення чи з дата-центру. Наскільки сайти довіряють трафіку, багато в чому визначається саме цим, тому тип IP входить до трьох складових рейтингу. Подробиці — нижче, у розділі про види проксі.

IP звіряється з базами, до яких заносять адреси, що засвітилися в спамі, атаках на сайти і шахрайстві.

Достатньо одного потрапляння, щоб зрозуміти: репутація адреси підмочена, і частина сервісів зустріне її капчею або відмовою.

Найпрактичніша частина звіту. Через проксі перевірка відкриває одинадцять основних платформ і для кожної повідомляє, чи спрацювало це, скільки часу зайняло та який HTTP-код повернувся. Адреса, яка єживийза всіма технічними ознаками може легко бути заблокований саме на тому сервісі, який вам потрібен — і дізнатися про це тут набагато приємніше, ніж з електронного листа про заблокований обліковий запис.

Рейтингвід 0 до 5поєднує три речі: тип IP, репутацію в чорних списках і результати сервісів. Завдяки цьому вам не потрібно читати кожен рядок таблиці — достатньо відсортувати список і взяти адреси зверху.

Чекер розуміє три варіанти запису проксі і не вимагає для цього жодних налаштувань:

Хостом може бути як IP-адреса, так і доменне ім'я: чимало постачальників видають проксі саме у вигляді домену з портом. Мішати формати в одному списку можна — кожен рядок обробляється сам по собі.

Також є три способи завантаження.Вставлення тексту: адреси копіюються в поле, кожна з нового рядка.Файл: підходить, якщо список було експортовано з акаунта продавця або збережено в текстовому документі.Посилання: зручно, коли список розміщений за постійною URL-адресою та регулярно оновлюється. Перевіряльник завантажує сторінку, витягує з неї проксі й одразу запускає перевірку. Для тих, хто відстежує публічні джерела, це найпрактичніший варіант — вам не доведеться щоразу переносити дані вручну.

Режимів три, і кожен розрахований на свою задачу. По суті вибирати доводиться між швидкістю і докладністю.

Тайм-аут установлюється від 1 до 60 секунд, а значення за замовчуванням — 10. Саме стільки засіб перевірки чекає на відповідь проксі, перш ніж позначити його як недоступний.

Якщо для списку, який очевидно має працювати, постійно з’являються тайм-аути, почніть зі збільшення цього значення.

Рейтинг — це оцінка від0 до 5. Він існує не для того, щоб сказати вам, чи адреса активна, а для того, чи варто довіряти їй роботу. Більшість перевірок зупиняються на статусі "працює", хоча дві однаково активні адреси можуть відрізнятися на місяці строку існування облікового запису. Ми підсумовуємо оцінку за зваженою схемою з трьох частин: походження IP, його репутація начорні спискиі те, як вона фактично відкриває популярні сервіси. Результат враховує характер адреси, її минуле та її поведінку просто зараз — тож оцінка виходить об’єктивною.

Загальний бал є сумою трьох чисел: бала за тип адреси, бала за репутацію та бала за сервіси. Репутація та сервіси оцінюються за тією самою схемою:ідеальнорезультат приносить усе2 бали, і кожне відхилення віднімає0.2. Жодна з цих частин не може втратити більше ніж два бали. Вона може впасти до нуля, але не стає від’ємною й не тягне інші складові вниз. Тому оцінка завжди залишається між0 і 5, і частки залишаються збалансованими:40%кожен іде на репутацію та на фактичну роботу з платформами, а решта20%переходить до IP-джерела.

У вибірковому режимі сервісна частина враховується лише для платформ, які ви позначили, і правило те саме: мінус0.2за кожен закритий сервіс у вашому наборі. Якщо в перевірці залишилося три сервіси, ця частина може втратити щонайбільше0,6 бала, а репутація починає сильніше впливати на оцінку. Це корисно, коли вам потрібне число для вашого власного сценарію, а не усереднена оцінка «для всього інтернету».

Ці пороги — орієнтир, а не закон: рішення ухвалюється за оцінкою разом із подробицями звіту. Головна користь в іншому. Відсортувати таблицю за рейтингом можна за секунду, і зверху одразу опиняться адреси, які варто брати. Усе, що нижче вашої планки, можна пачкою повернути продавцю на заміну, не розбираючи кожну адресу вручну.

Візьміть два проксі, обидва позначені "працює" у таблиці. Перший — це мобільний IP, якого немає в жодній базі даних і через який відкриваються всі одинадцять сервісів: оцінка5.0. Друга — це адреса сервера з дата-центру, виявлена в трьох чорних списках і закрита на шести з одинадцяти платформ: оцінка2.2. Формально різниці немає, обидва єживий. На практиці перший прослужить місяцями, а другий отримає бан уже під час першої реєстрації. Рейтинг показує саме цю різницю, тож сортування за ним економить більше часу, ніж будь-який фільтр за статусом.

За великих обсягів це особливо помітно. Фільтр за статусом видаляє лише кілька тисячмертвийпроксі зі списку — у придбаному пулі їх зазвичай від десяти до сорока відсотків, убезкоштовноперелічіть майже всі з них. Але для половини решти "живий" ті, оцінка буде нижчою3.0, і перед початком роботи ви можете побачити це лише за рейтингом. Середня оцінка пулу також допомагає чесно порівнювати провайдерів: не за текстом на сайті, а за одним вимірюваним числом на однаковому наборі платформ.

Оцінка фіксує момент, тому коливання від перевірки до перевірки є нормальними. Мобільні проксі змінюють IP під час ротації, і наступний запуск перевіряє іншу адресу оператора. Ми регулярно оновлюємочорний списокбазу даних із відкритих антиспам-репозиторіїв, тож адреса може вийти зі списку або потрапити до нього, бо хтось використовував її до вас. Політика платформ щодо діапазонів також змінюється: сервіс, який відкрився вранці, може показатикапчаувечері. А за короткого тайм-ауту повільні адреси вважаються недоступними й втрачають бали за доступність. Якщо оцінки помітно підскакують, збільште тайм-аут і перевірте ще раз.

В API оцінка кожної адреси повертається в полі sc, тому відбір за порогом і сортування пулу легко довірити скрипту. Рейтинг виставляється в повному і вибірковому режимах. У швидкому режимі його немає: цей режим перевіряє лише доступність, зате великий список він проходить значно швидше.

Тип проксі відповідає на питання, кому насправді належить IP: мобільному оператору, домашньому провайдеру чи хостингу в дата-центрі. З цього випливають швидкість, стабільність і, передусім, ступінь довіри, з якою сайти приймають трафік. Правильний тип впливає як на вартість, так і на ризик aблок, тож під час купівлі це перше, з чим варто визначитися, а не формальний пункт у плані.

Трафік цих проксі проходить через мережі мобільних операторів, із тих самих адрес, що й у мільйонів власників смартфонів. Оператор надає одну IP-адресу багатьом абонентам одночасно й постійно змінює її. Саме тому сайти дуже неохочеблокмобільні адреси: під удар потрапили б тисячі реальних користувачів. Саме звідси також походить найвища репутація серед усіх типів.

Мобільні проксі обирають там, де на кону акаунти: просування в соцмережах, арбітраж трафіку, рекламні кабінети, реєстрації, сервіси з жорстким антифродом. Мінуси — вартість і швидкість. Мобільний зв'язок повільніший і нестабільніший за дротовий, а під час ротації адреса може на кілька секунд зникнути. Для масового парсингу це дорого і просто не потрібно.

Це IP-адреси реальних домашніх підключень, які звичайні інтернет-провайдери видали своїм абонентам. Для сайту такий відвідувач нічим не відрізняється від звичайної людини, яка сидить удома в певному місті. Резидентні проксі — це універсальний інструмент длявебскрейпінг, перевірки реклами, аналізу регіональних результатів, обходу геообмежень і будь-якого завдання, якому потрібен «людський» слід і широкий вибір локацій.

За балансом довіри і ціни це оптимальний варіант: дешевший за мобільні і помітно надійніший за серверні. Наскільки стабільна конкретна адреса, залежить від того, чиє домашнє підключення за нею стоїть. Тому такий пул особливо корисно перевіряти перед роботою.

IP хостингових майданчиків і дата-центрів. Їх обирають за мінімальну затримку, товстий канал, рівну роботу без обривів і доступну вартість. Коли потрібно багато трафіку і багато паралельних потоків, кращого варіанта немає. Парсинг великих обсягів, відстеження цін і доступності, автоматизація, масова звірка даних, боти і службові інтеграції чудово працюють на серверних проксі.

Їхнє вразливе місце — впізнаваність. Діапазони дата-центрів добре відомі, і сайти із захистом від ботів одразу визначають такий трафік як не побутовий. Поганою адреса від цього не стає, вона просто не підходить там, де сервіс чекає домашнього користувача. Нуль балів в оцінці означає не «проксі поганий», а «бонуса за довіру немає».

Чорний список — це відкрита база IP-адрес, помічених у небажаній активності. Такі бази ведуть антиспам-проєкти, хостинг-компанії, поштові сервіси та дослідники безпеки, а користуються ними поштові сервери, CDN, антифрод-системи та власники сайтів. Якщо адресу внесено до бази, будь-який сервіс може не пустити її, не розбираючись у подробицях.

Кожен IP ми звіряємо з локальною базою, яка регулярно поповнюється з відкритих антиспам-репозиторіїв. Найчастіше адреси потрапляють туди з трьох причин:

Майте на увазі: найчастіше ви тут ні до чого. Публічним проксі одночасно користуються десятки людей, а адреси з пулів роками перепродають і здають знову. Разом з IP ви отримуєте і його минуле, зокрема наслідки того, що робили до вас інші.

Якщо ваша власна IP-адреса потрапила до чорного списку, вам доведеться виводити її звідти через делістинг, окремо в кожній базі даних, а перед цим потрібно припинити активність, через яку вона туди потрапила. З придбаним проксі все простіше: швидше попросити продавця замінити адресу. Нормальний провайдер змінюєзаблокованоIP-адреси без аргументу, а результати перевірки роблять розмову конкретною.

Більшість чекерів не мають цієї функції, хоча на практиці вона корисніша за всі інші. Адреса може бути активною, з aчистийісторію та правильну країну — і все щемарнийдля роботи, тому що потрібна вам платформа вже знає цю адресу й не пропустить її. Ми з’ясовуємо це заздалегідь. Через кожен proxy перевірник звертається до одинадцяти популярних сервісів і показує результат для кожного окремо: чи відкрився сервіс, скільки часу зайняла відповідь, який HTTP code повернувся, і якийпомилказ’являвся, якщо його можна було прочитати.

Спочатку позначені всі одинадцять платформ. Коли цікавлять лише дві чи три, зніміть решту прапорців у розширених налаштуваннях: прогін стане коротшим, а оцінка відображатиме саме ваш набір. У таблиці результат згортається в лічильник на кшталт «9 / 11», а клік відкриває список із подробицями по кожній платформі.

По кожному сервісу приходять три значення: чи вдалося відкрити сторінку, скільки зайняла відповідь і який HTTP-код повернула платформа. Найбільше каже код: по ньому видно, чому адреса не підійшла і що робити далі.

Час відповіді треба дивитися разом із кодом. Якщо сервіс відкрився за п'ять секунд, формально він доступний, але працювати через таку адресу в інтерфейсі рекламного кабінету буде болісно. Коли на десятці платформ видно, де відповідь прийшла миттєво, а де ледве дійшла, реальна якість каналу стає очевидною.

Результати платформи безпосередньо впливають на оцінку. Якщо кожен перевірений сервіс відкривається, адреса отримує+2 бали, і кожен закритий сервіс віднімає0.2, але не більше ніж2 бализагалом. Отже, на доступність сервісу припадає до40%рейтингу — така сама частка, як і репутація начорні списки. Сервіси перевіряються в повному та вибірковому режимах. Швидкий режим лише відповідає, чи доступний сам проксі. В API результати платформи надходять у полі s: для кожного сервісу воно містить код сервісу, прапорець успіху, час відповіді та статус HTTP. Саме тому фільтр на кшталт "лише адреси, через які відкривається Instagram" — це один рядок.

Анонімність показує, наскільки проксі приховує, що ви ним користуєтеся, і чи ховає ваш реальний IP. Буває, що проксі справно пропускає трафік, але в заголовках чесно зізнається сайту, що він посередник, — а то й вписує туди вашу власну адресу. Зазвичай виділяють три рівні.

Одного рівня анонімності недостатньо, щоб довіряти проксі. Адреса, яка формально є elite, може бути внесена до спам-баз і не відкривати половину сервісів, і тоді анонімність нічого не дає. Саме тому чекер не зупиняється на анонімності: він визначає вихідний IP, з’ясовує, звідки походить адреса, перевіряє її за базами даних і намагається відкритинаживопослуги через нього. Чи придатний проксі для роботи, визначається всією цією картиною разом, а не одним заголовком.

Протокол визначає, якою мовою програмне забезпечення спілкується з проксі та що взагалі можна через нього надсилати. Засіб перевіркипрацюєз HTTP, HTTPS і SOCKS5 — на практиці ці три варіанти охоплюють майже все.

Просте правило: візьмітьHTTP/HTTPSдля сайтів і API, іSOCKS5для довільного трафіку від застосунків. Одна адреса часто підтримує обидва, але далеко не завжди, і продавці часто неточно вказують протокол. Саме тому ми перевіряємо HTTP і SOCKS5 окремо: звіт одразу показує, який протокол насправдіпрацюєза адресою, і вам не доведеться налаштовувати програмне забезпечення на основі неправильних даних.

Проксі дуже часто "не працює" саме через протокол. Якщо програма вказує адресу як HTTP, але приймає лишеSOCKS5, з’єднання не буде встановлено, хоча сам проксі повністю працює. Вкажіть протокол явно, через префікс socks5:// або http://, і плутанини не буде.

Мертвий проксі в парсері чи антидетект-браузері легко прийняти за поломку самої програми. Задачі падають, сесії обриваються, у логах купа незрозумілих помилок, і можна пів дня шукати причину зовсім не там. Перевірка списку займає секунди і одразу відкидає цю версію: ви точно знаєте, що адреси в порядку, а проблема в чомусь іншому.

Це найдорожчий ризик. Одного входу в обліковий запис з адреси з поганою репутацією достатньо, щоб отримати перевірку особи, а часто йблок. Разом з акаунтом ви можете втратити пов’язані рекламні акаунти та всю історію. Відновлення триває тижнями й не завжди завершується успішно. Перевірка чорного списку та тест сервісів показують небезпечну адресу ще до того, як ви увійдете через неї.

Країна в описі та фактична країна виходу постійно не збігаються. Якщо завдання прив’язане до регіону — локальні результати, місцеві ціни, сервіс для однієї країни — адреса з неправильним гео марна. І це важко помітити під час роботи: технічно всепрацює, зібрані дані — це просто неправильні дані.

Регулярна перевірка придбаного пулу — єдиний спосіб дізнатися, що насправді продає провайдер. Яка частка адрес активна, скільки з них перебувають начорні списки, чи продаються серверні IP-адреси як резидентські, і чи відповідає швидкість обіцяній. Коли у вас на руках є результати перевірки, заміна поганих адрес стає рутинною процедурою, а не приводом для суперечки.

Якщо пул перевірено й очищено, наступний запуск пройде так само, як і попередній. З неперевіреним пулом результат залежить від випадку: один запуск збере все, а інший натрапить на aкапчана половині адрес, і ви більше не зможете визначити, що змінилося.

Проксі, які підходять для всього, не буває. Адреса, ідеальна для парсингу, погано підійде для рекламного кабінету, і навпаки. Відштовхуйтеся від задачі і від того, наскільки сильно платформа має вам довіряти.

Про безкоштовні проксі варто сказати окремо. Для разових задач, навчання й експериментів вони годяться, для роботи — ні. Адресами з публічних списків одночасно користуються багато хто, тому вони перевантажені, часто вже числяться в чорних списках і живуть лічені години. Якщо задача важлива, приватні проксі окупаються одразу — хоча б тому, що пул не треба перевіряти щогодини.

Якщо адреса не пройшла перевірку,помилкатекст майже завжди вказує на причину. Ось найпоширеніші випадки:

Якщо те самепомилкипройдіться по всьому списку, причина зазвичай не в проксі. Перевірте формат рядка, дані авторизації та протокол. Якщопомилкиє різними й розкиданими без закономірності, список справді змішаний, і для публічних адрес це звичайний результат.

Перевірку можна вбудувати у ваш власний продукт: панель провайдера, парсер, Telegram-бот, антидетект-браузер, внутрішній моніторинг пулу або CI-завдання, яке перевіряє адреси за розкладом. API надає все, що показує вебінтерфейс: статус для кожного протоколу, вихідний IP, час відповіді, швидкість, гео, тип адреси,чорний списокісервісрезультати та підсумковий бал.

Базова адреса — https://checker.net. Зовнішні інтеграції авторизуються за допомогою ключа в заголовку x-api-key, який можна отримати в обліковому записі. Схеми запитів і приклади відповідей детально описані в документації.

Результати доступні за посиланням 30 хвилин після створення перевірки. Усе, що виходить за ліміт 30,000, не приймається. Запит при цьому відпрацює успішно, а кількість відкинутих рядків прийде в полі skippedCount. Стежте за ним, коли завантажуєте великі списки.

Щодня адреси, що пройшли перевірку, потрапляють до відкритого архівуробочі проксі. Виберіть дату й отримайте список проксі, які працювали на момент перевірки — за день збирається від кількох тисяч до кількох десятків тисяч адрес. Історія зберігається місяцями, і ви можете експортувати її як на сайті, так і через API.

Пам'ятайте, що архів показує стан на певний момент і не гарантує, що адреси живі зараз. Публічні проксі служать недовго і навантажені багатьма користувачами одразу, тож за добу помітна частина списку перестає відповідати. Перед роботою проженіть вивантаження через чекер ще раз: отримаєте актуальний пул і свіжі оцінки. Для разових задач, експериментів і навчання цього вистачить. Для стабільної роботи з акаунтами і парсингу потрібні приватні мобільні або резидентські адреси.

Ваші проксі опиняються в архіві, лише якщо ви самі цього хочете. Щоб цього не сталося, перед запуском позначте на формі «Не зберігати мої проксі в публічний список». Тим, хто перевіряє куплені приватні адреси, варто завжди тримати його увімкненим.

Щоб перевірити приватний проксі, потрібно передати логін і пароль, і ми поводимося з ними відповідно. Дані авторизації потрібні лише для перевірки: з їх допомогою чекер підключається до проксі і надсилає через нього запити. В архів і відкриті списки вони не потрапляють.

Прапорець «Не зберігати мої проксі в публічному списку» повністю вилучає позначені адреси з публікації. Результати залишаються доступними за посиланням протягом обмеженого часу —30 хвилинз моменту початку перевірки — після цього вони стають недоступними. Перевірка не потребує реєстрації, а API-ключ потрібен лише для зовнішніх інтеграцій.

Онлайн-перевірка має ще одну перевагу. З’єднання з тисячами адрес відкриваються нашими серверами, а не вашим каналом. Ваша власна IP-адреса не бере участі в масових з’єднаннях, тому не привертає уваги провайдера й не ризикує опинитися в тому самомучорні спискиза яким ви перевіряєте проксі.