Обнаружение ботов

Обнаружение ботов – это процесс определения того, исходит ли цифровая активность от человека, автоматизированного клиента или неопределенного источника. Веб-сайты, приложения и API принимают это решение, комбинируя сигналы сети, запроса, браузера, поведения, сеанса и учетной записи.

Результат может привести к нескольким действиям. Платформа может разрешить запрос, просмотреть его, замедлить его, запросить проверку, отправить на проверку или заблокировать.

Это не простое соревнование между людьми и машинами. Поисковые роботы, инструменты мониторинга, службы специальных возможностей, тестовые сценарии и утвержденные интеграции также автоматизированы. Полезная система обнаружения должна отделять приемлемую автоматизацию от действий, создающих риск или злоупотребления.

Что такое Обнаружение ботов?

Обнаружение ботов – это процесс классификации. Он ищет признаки автоматизации и анализирует, что пытается сделать данное действие.

Эта вторая часть имеет значение. Служба мониторинга может запрашивать одну и ту же страницу каждую минуту. Инструмент подстановки учетных данных может отправлять повторные попытки входа в систему. Оба автоматизированы, но представляют совершенно разные риски.

Система обнаружения может возвращать такую ​​метку, как:

• Проверенный бот
• Вероятно, человек
• Вероятно автоматизированный
• Подозрительная автоматизация
• Неизвестный трафик

Некоторые системы вместо этого возвращают оценку. Более низкий или высокий балл может отражать предполагаемую вероятность того, что запрос будет автоматизирован. Направление шкалы зависит от провайдера.

Оценка является свидетельством, а не доказательством. Странная настройка браузера не является доказательством злого умысла. Знакомый IP-адрес не доказывает, что человек контролирует ситуацию. Сильные решения обычно зависят от нескольких сигналов, указывающих в одном направлении.

Обнаружение ботов – это категория продуктов, которая выполняет этот анализ. Многие продукты также включают функции управления и смягчения последствий, но это отдельные этапы.

Как работает Обнаружение ботов?

Обычно процесс состоит из пяти частей.

1. Собирайте соответствующие сигналы

Система отслеживает соединение, запрос, браузер, сеанс, учетную запись и попытку действия. Странице входа могут потребоваться разные сигналы из общедоступной статьи или конечной точки API.

2. Сравните сигналы

Текущий запрос сравнивается с известными сканерами, данными об угрозах, историей сеансов, обычным трафиком и другими запросами в том же потоке. Система также ищет противоречия. Браузер, который претендует на одну среду, но ведет себя как на другую, может подвергнуться более пристальному вниманию.

3. Назначить оценку или класс

Правила, статистические модели или машинное обучение оценивают, является ли действие человеческим, автоматизированным, проверенным, подозрительным или неопределенным. Cloudflare описывает аналогичный подход в своей документации для Обнаружение ботов. Его системы сочетают в себе эвристику, сигналы браузера, характеристики сеанса и машинное обучение.

4. Применить политику

Платформа выбирает ответ, основанный на уверенности и риске. Движение с низким уровнем риска может пройти. Неопределенное движение может столкнуться с проблемой. Злоупотребления с высоким уровнем доверия могут быть ограничены или заблокированы.

5. Обзор результата

Группы безопасности проверяют ложные срабатывания, пропущенные атаки, жалобы пользователей и новые модели трафика. Правила, которые работали в прошлом месяце, возможно, потребуют корректировки после обновления браузера или изменения поведения злоумышленников.

Конечная точка меняет смысл сигнала. Десять запросов в минуту могут быть нормой для товарного фида. Еще большее беспокойство вызывают десять неудачных попыток входа в систему с использованием разных учетных записей. Хорошее обнаружение сохраняет этот контекст вместо того, чтобы обрабатывать каждый запрос одинаково.

Какие сигналы используют системы Обнаружение ботов?

Современные системы не полагаются на один идеальный индикатор. Они сочетают в себе несколько слабых и сильных сигналов.

Сетевые сигналы

IP-репутация и владение сетью могут предоставить полезный контекст. Трафик из хост-сети может заслуживать иного подхода, чем трафик, проходящий через потребительскую сеть. Эта разница не является приговором.

Сетевое расположение — это только один уровень. Прокси меняет сетевой путь. Это не меняет поведение браузера, историю сеансов или активность учетной записи. прокси, VPN или Антидетект Браузер влияет на другую часть соединения, поэтому эти инструменты не могут заменить друг друга.

Сигналы браузера и устройства

Веб-сайт может сочетать версию браузера, операционную систему, размер экрана, язык, часовой пояс, шрифты и поведение рендеринга посредством Фингерпринтинг браузера.

Последовательность часто имеет значение более чем одного редкого значения. Браузер может утверждать, что работает в одной операционной системе, при этом предоставляя графику, шрифты или функции ввода, связанные с другой. Такое несоответствие может повысить риск. Это само по себе еще не доказывает злоупотребление.

Сигналы поведения и сеанса

Системы обнаружения могут отслеживать развитие сеанса. Они могут следить за порядком страниц, временем между действиями, повторяющимися сбоями и изменениями между посещениями.

Простые утверждения о человеческом поведении ненадежны. Люди могут быстро щелкнуть мышью. Некоторые пользователи перемещаются с помощью клавиатуры или вспомогательных технологий. Бот также может добавлять задержки. Полезный сигнал часто исходит от полной последовательности и бизнес-результата, а не от одного пути мыши.

Счет и бизнес-сигналы

Самые веские доказательства могут появиться после входа в систему. Платформа может сравнивать текущие действия с историей учетной записи, деталями платежа, лимитами покупок и предыдущими сеансами.

Вот почему действительный вызов не решает все вопросы. Клиент может пройти проверку браузера и при этом попытаться совершить двадцать операций с разными картами. Браузер выглядит приемлемым, но шаблон транзакции — нет.

Хорошие боты, плохие боты и одобренная автоматизация

Не каждый автоматизированный клиент принадлежит к одной группе.

Хорошие и проверенные боты

Поисковые роботы, мониторы времени безотказной работы и утвержденные партнерские службы могут принести очевидную пользу. Платформы могут подтвердить свою личность и внести их в белый список. Этим ботам по-прежнему нужны разумные ограничения. Подтвержденное имя не должно предоставлять неограниченный доступ ко всем конечным точкам.

Плохие или оскорбительные боты

Боты-злоумышленники выполняют действия, которые наносят вред пользователям, системам или бизнес-операциям. Общие примеры включают в себя:

• Вброс учетных данных
• Создание фейкового аккаунта
• Тестирование карт
• Накопление инвентаря
• Спам-рассылки
• Нажмите мошенничество
• Несанкционированный сбор данных

Риск исходит из действия, масштаба и намерения. Автоматизация дает оператору скорость, но сама по себе скорость — это еще не вся проблема.

Утвержденная автоматизация

Тесты качества, внутренние рабочие процессы браузера, задания по мониторингу и авторизованные клиенты API могут стать частью бизнеса. Они должны использовать определенные разрешения, стабильные идентификаторы, ограничения скорости, журналы и четких владельцев.

Утвержденная система автоматизации не должна притворяться человеком. По возможности следует использовать официальный API, учетную запись службы, подписанный запрос или документированную идентификацию сканера.

Неизвестный трафик

Некоторый трафик не дает достаточных доказательств для принятия уверенного решения. Жесткая блокировка каждого неизвестного клиента приводит к ненужным сбоям. Лучшим ответом может быть мониторинг, более низкий предел скорости или доступный этап проверки.

Руководство по управлению ботами OWASP рекомендует многоуровневые элементы управления и ответы, соответствующие защищенному потоку. В нем также отмечается, что законные сканеры, агенты мониторинга и инструменты обеспечения доступности должны оставаться работоспособными.

Распространенные методы Обнаружение ботов

Подписи и репутация

Базовое обнаружение начинается с известной информации. Система может распознать проверенного сканера, вредоносный диапазон IP-адресов, необычный пользовательский агент или известную сигнатуру автоматизации.

Эти чеки быстрые, но они быстро устаревают. Пользовательские агенты можно копировать. IP-адреса меняются. Новая автоматизация может еще не появиться в ленте репутации.

Анализ скорости и последовательности

Ограничения скорости измеряют, как часто клиент или личность выполняет действие. Анализ последовательности рассматривает порядок этих действий.

Одного лимита по IP редко бывает достаточно. В офисах, школах и мобильных сетях множество пользователей могут использовать один и тот же адрес. Распределенные боты могут использовать множество адресов. Более эффективные элементы управления учитывают IP, сеанс, учетную запись, конечную точку и временное окно вместе.

Снятие отпечатков пальцев браузера и устройства

Отпечатки пальцев помогают связать запросы, которые используют шаблон браузера или устройства. Это также может выявить несоответствия между заявленной средой и наблюдаемым поведением.

Этот метод создает затраты на конфиденциальность. Сайты должны собирать только сигналы, необходимые для защищенного потока. Необработанные данные не следует хранить дольше, чем необходимо. Проверка на мошенничество при оформлении заказа может оправдать более пристальное внимание, чем чтение общедоступной страницы помощи.

Поведенческий и сессионный анализ

Поведенческие модели сравнивают активность с ожидаемыми потоками пользователей. Анализ сеанса добавляет историю, неудачные попытки, состояние аутентификации и повторяющиеся действия.

Модель не должна предполагать, что средний пользователь представляет каждого реального пользователя. Командам необходимо проверить, как система обрабатывает пользователей клавиатуры, программы чтения с экрана, медленные соединения, общие устройства и браузеры, ориентированные на конфиденциальность.

Машинное обучение и обнаружение аномалий

Машинное обучение может сочетать в себе больше функций, чем небольшой набор правил. Он может находить закономерности в запросах и сеансах, а затем возвращать оценку риска.

Модель все еще нуждается в присмотре. Обновления браузера могут изменить обычные сигналы в одночасье. Маркетинговая кампания может создать необычный трафик, который не является атакой. Команды должны отслеживать отклонения и записывать, почему были приняты важные решения.

Проблемы и аттестация

КАПЧА, невидимые проверки, токены подтверждения и аттестация устройств позволяют собрать больше доказательств из неопределенного трафика. Они лучше всего работают в качестве усиливающего контроля.

КАПЧА не является полноценной системой обнаружения. Это может мешать реальным пользователям, создавать проблемы с доступностью и при этом решаться с помощью автоматизации или платных услуг. Пройденный вызов также мало что говорит о намерении следующей транзакции.

Обнаружение ботов и управление ботами и защита от них

Эти термины описывают разные части одного и того же рабочего процесса.

Брандмауэр веб-приложения может предоставлять некоторые из этих элементов управления. Это не является автоматически полноценной системой управления ботами. Защита от DDoS также решает другую проблему, даже если один поставщик объединяет оба продукта.

Где используется Обнаружение ботов?

Правильные сигналы зависят от защищаемого действия.

• Страницы входа используют его для выявления попыток взлома учетных данных и захвата учетной записи.
• Формы регистрации используют его для уменьшения количества фейковых аккаунтов и спама.
• Потоки оформления заказа используют его для обнаружения тестирования карт, скальпинга и накопления запасов.
• Контентные сайты используют его для управления сканерами и несанкционированного парсинга.
• Реклама и формы для потенциальных клиентов используют его для выявления фейковых кликов и отправок.
• API используют его наряду с аутентификацией, квотами и подписанием запросов.
• Мобильные приложения используют сигналы устройства, сеанса, учетной записи и транзакции.

Публичная видимость не устраняет необходимости в правилах доступа. В то же время строгое правило безопасности не должно нарушать работу проверенных поисковых роботов или одобренных интеграций.

Ограничения и ложные срабатывания

Обнаружение ботов допускает ошибки в обоих направлениях. Ложное срабатывание рассматривает законную деятельность как подозрительную. Ложноотрицательный результат позволяет избежать злоупотреблений.

Ложные срабатывания часто затрагивают пользователей с необычными, но действительными настройками. Общие примеры включают в себя:

• Корпоративные или школьные сети, которыми пользуются многие люди
• Пользователи VPN и мобильных сетей
• Браузеры, ориентированные на конфиденциальность
• Новые устройства без истории аккаунта
• Инструменты доступности
• Медленные или нестабильные соединения
• Утвержденная автоматизация без четкой идентификации

Жесткая блокировка при первом слабом сигнале усугубляет эти проблемы. Поэтапный ответ обычно безопаснее:

1. Разрешить трафик с низким уровнем риска
2. Наблюдайте неопределенные закономерности
3. Применить ограничения скорости на основе конечной точки
4. Запросить дополнительную проверку
5. Обзор важных действий
6. Блокировать злоупотребления высоким уровнем доверия

Реакция должна соответствовать возможному вреду. Чтение общедоступной страницы и изменение способа оплаты не должны сталкиваться с одним и тем же порогом.

Обнаружение также включает сбор данных. Отпечатки браузера, данные взаимодействия, история учетной записи и сетевая информация могут стать конфиденциальными при совместном хранении. Владельцам сайтов необходимы четкие ограничения хранения, контроль доступа и раскрытие конфиденциальной информации. Сбор большего количества данных не означает автоматически лучшее обнаружение.

Обнаружение ботов и профили браузера

Профиль браузера управляет средой, в которой выполняется сеанс браузера. Он может хранить файлы cookie, локальное хранилище, настройки браузера и конфигурацию прокси-сервера отдельно от других профилей.

Такое разделение полезно для утвержденных рабочих процессов. Это может уменьшить случайное перекрытие учетных записей и сделать владение сеансом более ясным. Он не определяет, как третья сторона будет классифицировать деятельность.

MoreLogin позволяет командам создавать отдельный профиль браузера для каждого рабочего процесса. Разработчики могут использовать MoreLogin API для запуска профиля, подключения поддерживаемого инструмента автоматизации и закрытия профиля после выполнения задачи.

Профиль — это только часть результата. Сетевой контекст, история учетной записи, частота выполнения задач, контент и политика платформы по-прежнему имеют значение. Хорошо разделенный профиль не превратит несанкционированное действие в одобренное.

Для команд, которым необходимы отдельные сеансы и рабочие процессы на основе ролей, браузер с несколькими учетными записями может обеспечить более четкую операционную структуру. Разрешения, журналы, ограничения скорости и проверка человеком должны оставаться частью процесса.

Ключевые выводы

• Обнаружение ботов объединяет несколько сигналов. Это не одна проверка браузера.
• Обнаружение автоматизации не доказывает злой умысел.
• Обнаружение дает оценку или класс. Руководство решает ответ.
• Браузер, сеть, поведение, сеанс и бизнес-контекст — все имеет значение.
• Ложные срабатывания требуют мониторинга, доступных проблем и путей восстановления.
• Профили браузера разделяют среды. Они не гарантируют решение платформы.

Обнаружение ботов Часто задаваемые вопросы

Что такое Обнаружение ботов простыми словами?

Обнаружение ботов – это процесс определения того, исходит ли онлайн-активность от человека, автоматизированного клиента или неизвестного источника. Он объединяет сигналы из сети, запроса, браузера, поведения, сеанса и учетной записи. Результат помогает платформе решить, разрешать, отслеживать, ограничивать, проверять или блокировать активность.

Как веб-сайты обнаруживают ботов?

Веб-сайты сравнивают несколько типов доказательств. Они могут проверять репутацию IP и сети, заголовки запросов, свойства браузера, особенности автоматизации, шаблоны навигации, историю сеансов и активность учетной записи. Правила или модели машинного обучения объединяют эти сигналы в оценку или классификацию. Ни один сигнал не работает надежно для каждого посетителя.

Каждый ли бот является вредоносным?

Нет. Поисковые роботы, службы мониторинга, инструменты тестирования, службы доступности и одобренные интеграции — все это может быть автоматизировано. Платформа должна проверять полезных ботов и управлять ими, ограничивая при этом автоматизацию, которая приводит к мошенничеству, злоупотреблениям, проблемам с производительностью или несанкционированному доступу.

Является ли КАПЧА тем же, что и Обнаружение ботов?

Нет. КАПЧА – это один из способов запросить у неуверенного клиента дополнительные доказательства. Более широкая система обнаружения также учитывает сигналы сети, браузера, сеанса, поведения и бизнеса. КАПЧА может создавать проблемы с доступностью и удобством использования, поэтому она не должна быть единственным элементом управления.

В чем разница между Обнаружение ботов и защитой от ботов?

Обнаружение ботов классифицирует активность или присваивает оценку риска. Защита от ботов принимает меры против нежелательной активности. Это действие может включать ограничение скорости, задержку, оспаривание, проверку или блокировку запроса. Управление ботом связывает классификацию с соответствующей политикой.

Может ли Обнаружение ботов совершать ошибки?

Да. Законные пользователи могут выглядеть необычно из-за общих сетей, инструментов конфиденциальности, программного обеспечения для обеспечения специальных возможностей, новых устройств или нестабильных соединений. Сложные боты также могут напоминать обычный трафик. Команды должны измерять ложноположительные и ложноотрицательные результаты, а затем корректировать правила и пути восстановления.

Можно ли обнаружить Автоматизация браузера?

Автоматизация браузера может генерировать наблюдаемые сигналы в браузере, потоке запросов, времени и сеансе. Сайт может классифицировать эти сигналы как автоматические или подозрительные. Конечный результат зависит от нескольких уровней доказательств и политики платформы. Утвержденная система автоматизации должна по возможности использовать документированные методы доступа.

Предотвращает ли профиль браузера Обнаружение ботов?

Нет. Профиль браузера разделяет состояние и конфигурацию браузера. Он не контролирует стороннюю систему обнаружения. Задача, сеть, история учетной записи, поведение и правила платформы по-прежнему влияют на результат.