Блокировщик парсинга с помощью обратного DNS-запроса

Характеристики

Подходящие редакции

—

Первый сайт, Старт, Стандарт, Малый бизнес, Бизнес, Интернет-магазин + CRM, Корпоративный портал, Энтерпрайз

Адаптивность

—

Да

Поддержка Композита

—

Нет

Установлено

—

Менее 50 раз

Дата публикации

—

05.02.2024

Версия

—

1.0.0

Все характеристики

Sam-24

Опубликовано:: 05.02.2024
Обновлено:
Версия:: 1.0.0
Установлено:: Менее 50 раз
Подходящие редакции:: Первый сайт, Старт, Стандарт, Малый бизнес, Бизнес, Интернет-магазин + CRM, Корпоративный портал, Энтерпрайз
Адаптивность:: Да
Поддержка Композита:: Нет
Совместимо с Сайты24: Нет
Совместимо с PHP 8.1

Защита сайта от программ парсинга, которые подставляют в User-Agent данные поисковых роботов.
Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.

Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.

Поддерживаемые роботы:

Googlebot
Yandex
Mail
Bing

Справка о проверке принадлежности роботов Яндексу: https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html

Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot