Виявлення ботів

Виявлення ботів — це процес визначення того, чи походить цифрова активність від людини, автоматизованого клієнта чи невизначеного джерела. Веб-сайти, програми та API приймають це рішення, комбінуючи сигнали мережі, запиту, веб-переглядача, поведінки, сеансу та облікового запису.

Результат може призвести до кількох дій. Платформа може дозволити запит, спостерігати за ним, уповільнювати його, запитувати перевірку, відправляти на перевірку або блокувати.

Це не просте змагання між людьми та машинами. Пошукові сканери, інструменти моніторингу, служби доступності, тестові сценарії та затверджені інтеграції також автоматизовані. Корисна система виявлення повинна відокремлювати прийнятну автоматизацію від діяльності, яка створює ризик або зловживання.

Що таке Виявлення ботів?

Виявлення ботів – це процес класифікації. Він шукає ознаки автоматизації та розглядає, що діяльність намагається зробити.

Ця друга частина має значення. Служба моніторингу може запитувати ту саму сторінку щохвилини. Інструмент додавання облікових даних може надсилати повторні спроби входу. Обидва автоматизовані, але представляють дуже різні ризики.

Система виявлення може повертати мітку, наприклад:

• Перевірений бот
• Ймовірно, людина
• Ймовірно, автоматизовано
• Підозріла автоматизація
• Невідомий трафік

Деякі системи замість цього повертають оцінку. Нижчий або вищий бал може вказувати на приблизну ймовірність того, що запит буде автоматизовано. Напрямок шкали залежить від провайдера.

Оцінка є доказом, а не доказом. Дивні налаштування браузера не доводять зловмисного наміру. Знайома IP-адреса не доводить, що людина контролює ситуацію. Сильні рішення зазвичай залежать від кількох сигналів, які вказують в одному напрямку.

Програмне забезпечення для Виявлення ботів – це категорія продуктів, яка виконує цей аналіз. Багато продуктів також включають функції керування та пом’якшення, але це окремі етапи.

Як працює Виявлення ботів?

Зазвичай процес складається з п’яти частин.

1. Збирайте відповідні сигнали

Система спостерігає за підключенням, запитом, браузером, сеансом, обліковим записом і спробою дії. Для сторінки входу можуть знадобитися різні сигнали від публічної статті або кінцевої точки API.

2. Порівняйте сигнали

Поточний запит порівнюється з відомими сканерами, розвідкою про загрози, історією сеансів, нормальним трафіком та іншими запитами в тому самому потоці. Система також шукає протиріччя. Браузер, який претендує на одне середовище, але поводиться як інше, може отримати більше уваги.

3. Призначте оцінку або клас

Правила, статистичні моделі чи машинне навчання визначають, чи є дія людиною, автоматизованою, перевіреною, підозрілою чи невизначеною. Cloudflare описує подібний підхід у своїй документації для Механізми Виявлення ботів. Його системи поєднують евристики, сигнали браузера, характеристики сесії та машинне навчання.

4. Застосувати політику

Платформа обирає реакцію на основі впевненості та ризику. Трафік із низьким ризиком може проходити. Невизначений трафік може зіткнутися з проблемою. Зловживання з високим рівнем довіри може бути обмежено або заблоковано.

5. Перегляньте результат

Команди безпеки перевіряють помилкові спрацьовування, пропущені атаки, скарги користувачів і нові моделі трафіку. Правила, які працювали минулого місяця, можуть потребувати коригування після оновлення веб-переглядача або зміни поведінки зловмисників.

Кінцева точка змінює значення сигналу. Десять запитів за хвилину можуть бути нормальними для фіду товарів. Десять невдалих спроб входу в різні облікові записи викликають більше занепокоєння. Добре виявлення зберігає цей контекст замість того, щоб обробляти кожен запит однаково.

Які сигнали використовують системи Виявлення ботів?

Сучасні системи не покладаються на один ідеальний показник. Вони поєднують кілька слабких і сильних сигналів.

Мережні сигнали

IP репутація та право власності на мережу можуть надати корисний контекст. Трафік із мережі хостингу може заслуговувати на іншу обробку, ніж трафік, що надходить через мережу користувача. Ця різниця не є вироком.

Розташування мережі – це лише один рівень. Проксі змінює мережевий шлях. Це не змінює поведінку браузера, історію сеансів або активність облікового запису. проксі, VPN або Антидетект-браузер впливає на іншу частину з’єднання, тому ці інструменти не можуть замінити один одного.

Сигнали браузера та пристрою

Веб-сайт може поєднувати версію веб-переглядача, операційну систему, розмір екрана, мову, часовий пояс, шрифти та поведінку відтворення за допомогою Фінгерпринтинг браузера.

Постійність часто має значення не лише одного рідкісного значення. Браузер може стверджувати, що працює в одній операційній системі, водночас показуючи графіку, шрифти або функції введення, пов’язані з іншою. Ця невідповідність може підвищити ризик. Це ще не доводить зловживання саме по собі.

Поведінка та сигнали сесії

Системи виявлення можуть досліджувати, як розвивається сеанс. Вони можуть переглядати порядок сторінок, час між діями, повторні помилки та зміни між відвідуваннями.

Прості твердження про людську поведінку ненадійні. Люди можуть швидко клацати. Деякі користувачі переміщуються за допомогою клавіатури або допоміжних технологій. Бот також може додавати затримки. Корисний сигнал часто надходить від повної послідовності та бізнес-результату, а не від одного шляху миші.

Облікові та бізнес-сигнали

Найвагоміший доказ може з'явитися після входу. Платформа може порівнювати поточну дію з історією облікового запису, деталями платежів, лімітами покупок і попередніми сеансами.

Ось чому дійсний виклик не вирішує всіх питань. Клієнт може пройти перевірку браузера і все одно спробувати двадцять перевірок різними картками. Браузер виглядає прийнятним, але шаблон транзакції ні.

Хороші боти, погані боти та схвалена автоматизація

Не кожен автоматизований клієнт належить до однієї групи.

Хороші та перевірені боти

Пошукові сканери, монітори безвідмовної роботи та схвалені партнерські послуги можуть забезпечити очевидну цінність. Платформи можуть перевірити їх особу та додати їх до білого списку. Ці боти все ще потребують розумних обмежень. Перевірене ім’я не повинно надавати необмежений доступ до кожної кінцевої точки.

Погані або образливі боти

Боти-зловмисники виконують дії, які шкодять користувачам, системам або бізнес-операціям. Загальні приклади:

• Внесення облікових даних
• Створення фейкового облікового запису
• Тестування карти
• Накопичування запасів
• Надсилання спаму
• Клацніть шахрайство
• Несанкціонований збір даних

Ризик походить від дії, масштабу та наміру. Автоматизація дає оператору швидкість, але швидкість сама по собі не вся проблема.

Затверджена автоматизація

Тести контролю якості, внутрішні робочі процеси браузера, завдання моніторингу та авторизовані клієнти API можуть бути частиною бізнесу. Вони повинні використовувати визначені дозволи, стабільні ідентифікатори, обмеження швидкості, журнали та чітких власників.

Схвалена автоматизація не повинна видавати себе за людину. Там, де це можливо, він має використовувати офіційний API, обліковий запис служби, підписаний запит або задокументований ідентифікатор сканера.

Невідомий трафік

Деякий трафік не дає достатньо доказів для впевненого рішення. Жорстке блокування кожного невідомого клієнта створює непотрібні збої. Кращою відповіддю може бути моніторинг, нижчий ліміт швидкості або доступний етап перевірки.

Інструкції з керування ботом OWASP рекомендує багаторівневі елементи керування та відповіді, які відповідають захищеному потоку. Він також зазначає, що законні сканери, агенти моніторингу та інструменти доступності повинні залишатися доступними.

Поширені методи Виявлення ботів

Підписи та репутація

Базове виявлення починається з відомої інформації. Система може розпізнати перевірений сканер, шкідливий діапазон IP-адрес, незвичайний агент користувача або відомий підпис автоматизації.

Ці перевірки швидкі, але вони швидко старіють. Агенти користувача можна копіювати. IP-адреси змінюються. Нова автоматизація може ще не відображатися в каналі репутації.

Аналіз швидкості та послідовності

Обмеження швидкості вимірюють, як часто клієнт або особа виконує дію. Аналіз послідовності розглядає порядок цих дій.

Одного обмеження на основі IP рідко буває достатньо. В офісах, школах і мобільних мережах за однією адресою може бути багато користувачів. Розподілені боти можуть використовувати багато адрес. Кращі засоби керування враховують разом IP, сеанс, обліковий запис, кінцеву точку та часове вікно.

Відбитки пальців браузера та пристрою

Відбитки пальців допомагають зв’язувати запити, які мають спільний шаблон браузера або пристрою. Це також може виявити невідповідності між заявленим середовищем і спостережуваною поведінкою.

Цей метод створює витрати на конфіденційність. Сайти повинні збирати лише сигнали, необхідні для захищеного потоку. Необроблені дані не слід зберігати довше, ніж це необхідно. Перевірка на шахрайство на касі може виправдати більше уваги, ніж читання загальнодоступної сторінки довідки.

Аналіз поведінки та сесії

Поведінкові моделі порівнюють активність із очікуваними потоками користувачів. Аналіз сеансу додає історію, невдалі спроби, стан автентифікації та повторювані дії.

Модель не повинна припускати, що середній користувач представляє кожного реального користувача. Командам потрібно перевірити, як система обробляє користувачів клавіатури, програми зчитування з екрана, повільне з’єднання, спільні пристрої та браузери, орієнтовані на конфіденційність.

Машинне навчання та виявлення аномалій

Машинне навчання може поєднувати більше функцій, ніж невеликий набір правил. Він може знаходити шаблони в запитах і сеансах, а потім повертати оцінку ризику.

Модель ще потребує нагляду. Оновлення веб-переглядача можуть змінити нормальні сигнали протягом ночі. Маркетингова кампанія може створити незвичний трафік, який не є атакою. Команди повинні відстежувати дрейф і записувати, чому були прийняті важливі рішення.

Виклики та атестація

CAPTCHA, невидимі виклики, маркери підтвердження та атестація пристрою можуть зібрати більше доказів із невизначеного трафіку. Вони найкраще працюють як посилений контроль.

CAPTCHA не є повною системою виявлення. Це може заважати реальним користувачам, створювати проблеми з доступністю, і все одно вирішується автоматизацією або платними службами. Пройдений виклик також мало говорить про намір наступної транзакції.

Виявлення ботів проти керування та пом’якшення ботів

Ці терміни описують різні частини одного робочого процесу.

Брандмауер веб-додатків може надавати деякі з цих елементів керування. Це не автоматично повна система керування ботом. Захист від DDoS також вирішує іншу проблему, навіть якщо один постачальник об’єднує обидва продукти.

Де використовується Виявлення ботів?

Правильні сигнали залежать від захищеної дії.

• Сторінки входу використовують його для виявлення передачі облікових даних і спроб захоплення облікового запису.
• Форми реєстрації використовують його для зменшення підроблених облікових записів і спаму.
• Потоки перевірки використовують його для виявлення тестування карток, скальпування та накопичення запасів.
• Контентні сайти використовують його для керування сканерами та несанкціонованим копіюванням.
• Реклама та форми потенційних клієнтів використовують його для ідентифікації фальшивих кліків і подання.
• API використовують його разом із автентифікацією, квотами та підписом запитів.
• Мобільні програми використовують сигнали пристрою, сеансу, облікового запису та транзакції.

Публічна видимість не скасовує необхідності в правилах доступу. У той же час суворе правило безпеки не повинно порушувати перевірені пошукові сканери чи затверджені інтеграції.

Обмеження та помилкові спрацьовування

Виявлення ботів робить помилки в обох напрямках. Помилковий результат розглядає законну діяльність як підозрілу. Хибно-негативний результат пропускає образливу діяльність.

Помилкові спрацьовування часто впливають на користувачів із незвичними, але дійсними налаштуваннями. Загальні приклади:

• Корпоративні чи шкільні мережі, якими користуються багато людей
• Користувачі VPN і мобільних мереж
• Браузери, орієнтовані на конфіденційність
• Нові пристрої без історії облікових записів
• Інструменти доступності
• Повільні або нестабільні з'єднання
• Схвалена автоматизація без чіткої ідентифікації

Жорстке блокування при першому слабкому сигналі погіршує ці проблеми. Поступова відповідь зазвичай безпечніша:

1. Дозволити трафік з низьким рівнем ризику
2. Спостерігайте за невизначеними закономірностями
3. Застосуйте обмеження швидкості на основі кінцевої точки
4. Запит на додаткову перевірку
5. Перегляньте дії, які мають великий вплив
6. Блокувати зловживання високою довірою

Реакція повинна відповідати можливій шкоді. Читання загальнодоступної сторінки та зміна способу оплати не повинні мати однаковий поріг.

Виявлення також передбачає збір даних. Відбитки пальців веб-переглядача, дані взаємодії, історія облікового запису та мережева інформація можуть стати конфіденційними, якщо зберігати їх разом. Власникам сайтів потрібні чіткі ліміти зберігання, контроль доступу та розкриття конфіденційності. Збір більшої кількості даних автоматично не означає кращого виявлення.

Виявлення ботів і профілі веб-переглядача

Профіль браузера контролює середовище, у якому виконується сеанс браузера. Він може зберігати файли cookie, локальне сховище, налаштування браузера та конфігурацію проксі окремо від інших профілів.

Це розділення корисне для затверджених робочих процесів. Це може зменшити випадкове накладення облікових записів і зробити право власності на сеанс більш зрозумілим. Це не визначає, як третя сторона класифікуватиме діяльність.

MoreLogin дозволяє командам створювати окремий профіль браузера для кожного робочого процесу. Розробники можуть використовувати API MoreLogin, щоб створити профіль, підключити підтримуваний інструмент автоматизації та закрити профіль після виконання завдання.

Профіль – це лише частина результату. Контекст мережі, історія облікового запису, частота виконання завдань, вміст і політика платформи все ще мають значення. Добре розділений профіль не перетворює несанкціоновану дію на схвалену.

Для команд, яким потрібні окремі сеанси та робочі процеси на основі ролей, браузер із кількома обліковими записами може забезпечити більш чітку операційну структуру. Дозволи, журнали, обмеження швидкості та перевірка людьми мають залишатися частиною процесу.

Ключові висновки

• Виявлення ботів поєднує кілька сигналів. Це не одна перевірка браузера.
• Виявлення автоматизації не доводить зловмисного наміру.
• Виявлення формує оцінку або результат класифікації. Керування ботами визначає реакцію.
• Браузер, мережа, поведінка, сеанс і бізнес-контекст мають значення.
• Помилкові спрацьовування вимагають моніторингу, доступних викликів і шляхів відновлення.
• Профілі браузера відокремлюють середовища. Вони не гарантують рішення щодо платформи.

Поширені запитання щодо Виявлення ботів

Що таке Виявлення ботів простими словами?

Виявлення ботів — це процес визначення того, чи походить онлайн-активність від людини, автоматизованого клієнта чи невизначеного джерела. Він поєднує сигнали від мережі, запиту, браузера, поведінки, сесії та облікового запису. Результат допомагає платформі вирішити, чи дозволяти, дивитися, обмежувати, перевіряти чи блокувати активність.

Як веб-сайти виявляють ботів?

Веб-сайти порівнюють кілька типів доказів. Вони можуть перевіряти IP-адресу та репутацію мережі, заголовки запитів, властивості браузера, особливості автоматизації, шаблони навігації, історію сеансів і активність облікового запису. Правила або моделі машинного навчання поєднують ці сигнали в бал або класифікацію. Жоден сигнал не працює надійно для кожного відвідувача.

Чи кожен бот шкідливий?

Ні. Пошукові сканери, служби моніторингу, інструменти тестування, служби доступності та затверджені інтеграції можуть бути автоматизовані. Платформа повинна перевіряти та керувати корисними ботами, одночасно обмежуючи автоматизацію, яка спричиняє шахрайство, зловживання, проблеми з продуктивністю або неавторизований доступ.

Чи CAPTCHA те саме, що Виявлення ботів?

Ні. CAPTCHA – це один із способів запитати у невпевненого клієнта додаткові докази. Більш широка система виявлення також враховує мережу, браузер, сеанс, поведінку та бізнес-сигнали. CAPTCHA може створювати проблеми зі спеціальними можливостями та взаємодією з користувачем, тому це не єдиний засіб керування.

Яка різниця між Виявлення ботів і захистом від ботів?

Виявлення ботів класифікує діяльність або призначає оцінку ризику. Пом'якшення ботів вживає заходів проти небажаної активності. Ця дія може включати обмеження швидкості, затримку, оскарження, перегляд або блокування запиту. Керівництво ботом пов’язує класифікацію з відповідною політикою.

Чи може Виявлення ботів робити помилки?

так Законні користувачі можуть виглядати незвично через спільні мережі, інструменти конфіденційності, програмне забезпечення для спеціальних можливостей, нові пристрої або нестабільні з’єднання. Складні боти також можуть нагадувати звичайний трафік. Команди повинні виміряти хибно-позитивні та хибно-негативні результати, а потім налаштувати правила та шляхи відновлення.

Чи можна виявити Автоматизація браузера?

Автоматизація браузера може створювати спостережувані сигнали у веб-переглядачі, потік запитів, час і сеанс. Сайт може класифікувати ці сигнали як автоматизовані або підозрілі. Кінцевий результат залежить від кількох рівнів доказів і політики платформи. Схвалена автоматизація повинна використовувати задокументовані методи доступу, де це можливо.

Чи запобігає профіль веб-переглядача Виявлення ботів?

Ні. Профіль браузера розділяє стан і конфігурацію браузера. Він не контролює систему виявлення третьої сторони. Завдання, мережа, історія облікового запису, поведінка та правила платформи все ще впливають на результат.