Парсеры без браузера
Скрипты могут запрашивать HTML и данные напрямую, минуя браузерную телеметрию.
Автоматические клиенты могут обращаться к серверу напрямую. Одних проверок браузера для этого недостаточно.
01 / ЗАДАЧА
Защита от парсинга сайта требует учитывать и запросы без JavaScript: некоторые автоматические клиенты обращаются к серверу напрямую, минуя браузер.
Скрипты могут запрашивать HTML и данные напрямую, минуя браузерную телеметрию.
Сканеры могут обращаться к множеству несуществующих или чувствительных маршрутов.
Название известного робота в заголовке запроса ещё не означает, что запрос пришёл от настоящего робота.
Слишком частые обращения к определённым маршрутам требуют контекстного анализа, а не автоматического обвинения.
02 / МЕХАНИЗМ
В зависимости от коннектора и настроек ТрафДозор может оценивать часть запросов на стороне сервера.
Учитываются доступные метод, путь, сетевые и клиентские признаки в рамках поддерживаемого контракта.
При наличии подтверждающих данных используются уровни доверия, а не только текст User-Agent.
Подключённые правила позволяют формировать действие с учётом риска и выбранного профиля.
Подключение и режим применения должны предварительно проверяться на конкретном сайте, чтобы исключить лишние блокировки.
03 / ПОДКЛЮЧЕНИЕ
Способ интеграции зависит от технологий защищаемого сайта.
Изучите доступные способы подключения для вашего приложения или CMS.
Начните с проверки запросов и корректности передачи сигналов.
Убедитесь, что решения формируются, а легитимные пользователи не затронуты.
Переходите к более строгому применению только после проверки поведения сайта.