Артикул:
46370
Комплексная защита сайта от парсинга, ботов и автоматического сбора данных: ограничение запросов, обнаружение и блокировка ботов, JS-проверка, гео- и IP-блокировка, защита контента и API, уведомления и наглядный мониторинг. Работает «из коробки», тонко настраивается по каждому сайту.
«Защита от парсинга» - это единый модуль для борьбы со скрейпингом, агрессивными ботами и автоматическим съёмом контента и цен с вашего сайта на 1С-Битрикс.
Парсеры воруют контент, нагружают сервер и сливают вашу базу товаров и цен конкурентам. Модуль выстраивает многоуровневую защиту на стороне PHP и объединяет в одном месте всё, что обычно приходится собирать из разрозненных решений: ограничение частоты запросов, поведенческий анализ, проверку браузера, гео- и IP-фильтрацию, защиту контента и API, интеграцию с Cloudflare и систему уведомлений.
Модуль рассчитан на боевое использование: безопасные значения по умолчанию, мягкие режимы для обкатки без риска заблокировать живых посетителей, корректная работа в кластере и за балансировщиком, минимальное влияние на кэширование и индексацию поисковиками.
Основные возможности
Ограничение запросов (Rate Limiting)
- Лимит запросов по IP за период, хранилище счётчиков - Redis / Memcache / файлы (атомарный подсчёт, корректно в кластере).
- При превышении порога - CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.
Обнаружение и блокировка ботов
- 40+ паттернов вредоносных User-Agent, обнаружение headless-браузеров.
- Threat-scoring 0-100: блокировка по совокупности признаков, а не по одному слабому индикатору (меньше ложных срабатываний).
- Проверка «хороших» ботов через forward-confirmed reverse DNS (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) - подделку Googlebot не пропустит.
- Мягкий режим (только лог) для безопасной обкатки.
- Настраиваемые белые/чёрные списки User-Agent.
JS-проверка браузера и поведенческий анализ
- Фрикционная JS-проверка отсекает примитивных парсеров и автоматизированные браузеры, проверенные поисковики и API не затрагиваются.
- Поведенческий сигнал: реальное взаимодействие пользователя подтверждается подписанной cookie, снижая ложные срабатывания.
- Анализ «холодных» прямых заходов (режимы: выкл / мониторинг / блокировка).
IP-блокировка
- Белый и чёрный списки: отдельные IP, подсети CIDR, маски, IPv6.
- Автоматическая блокировка IP после N нарушений в час (кластер-консистентно).
Гео-блокировка
- Блокировка по странам (чёрный/белый список).
- Определение страны по цепочке источников: заголовок Cloudflare → заголовки веб-сервера (nginx/apache GeoIP и GeoIP2) → штатный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.) → «Bitrix\Sale\Location\GeoIp» → PHP-расширение geoip → база MaxMind. Достаточно любого одного источника.
Защита контента
- 3 уровня защиты, блокировка копирования и контекстного меню, отключаемая плашка «Копирование запрещено».
- Honeypot-ловушки для форм, обфускация e-mail и телефонов.
Защита API
- Ограничение частоты, проверка токена («X-API-Token»), политика CORS, защита по путям.
Интеграция с WAF
- Синхронизация правил блокировки IP с Cloudflare.
Уведомления
- E-mail, Telegram, Webhook - с порогами, защитой от спама (cooldown) и повторными попытками.
Мониторинг и логи
- Дашборд с графиками по часам/дням, топ стран, IP и событий, фильтрами.
- Экспорт в CSV и Fail2Ban, логирование в файлы и/или БД, статистика «люди и боты».
Многосайтовость
- Настройки поведения задаются отдельно для каждого сайта с откатом на глобальные значения. Инфраструктура (ключи капчи, IP-списки, Redis/WAF/уведомления) - общая.
Преимущества
- Всё в одном модуле - не нужно собирать защиту из нескольких решений.
- Безопасные значения по умолчанию и мягкие режимы - можно внедрять без риска заблокировать живых клиентов.
- Не мешает SEO - проверенные поисковики проходят все проверки, индексация не страдает.
- Готов к нагрузке и кластеру - общие счётчики в Redis/Memcache, защита от спуфинга «X-Forwarded-For», «ленивые» сессии не ломают композитный кэш.
- Работает с тем, что уже настроено - подхватывает штатный GeoIP Битрикса, Cloudflare, существующую инфраструктуру.
Интерфейсы в админке
Раздел «Сервисы → Защита от парсинга».
Раздел «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга».
Неправильная настройка может привести к потере доступа к сайту
Модуль предназначен для блокировки нежелательного трафика. Слишком агрессивные или ошибочные настройки могут заблокировать реальных посетителей, а в отдельных случаях - затруднить доступ к самому сайту. Примеры рискованных конфигураций:
- Слишком низкий лимит запросов (rate limit) - блокирует обычных пользователей и легитимные интеграции;
- Гео-блокировка в режиме «белый список» с не теми странами или с включённой блокировкой при неопределённой стране - может закрыть сайт для всех посетителей;
- Добавление в чёрный список IP/подсетей, через которые ходят ваши клиенты, CDN, платёжные шлюзы или интеграции;
- Включение жёстких режимов (блокировка ботов, блокировка прямых заходов) без предварительной обкатки;
- Ошибки в списке «доверенных прокси» за балансировщиком, из-за чего весь трафик считается идущим с одного IP.
Важно: по умолчанию запросы из CLI/cron и от авторизованных администраторов не проверяются - это снижает риск полной блокировки доступа к административной панели. Тем не менее публичная часть сайта при ошибочных правилах может стать недоступной для посетителей, а неверная серверная конфигурация (прокси, кэш, права доступа) - усугубить последствия.
Обязательно делайте резервные копии
Перед установкой модуля, а также перед любыми изменениями его настроек обязательно создавайте резервную копию сайта и базы данных.
Резервная копия должна позволять полностью восстановить:
- Файлы сайта (включая каталог модуля и настройки);
- Базу данных (таблицы настроек «b_option», журналы модуля и т.д.).
Убедитесь, что у вас есть проверенный способ восстановления и доступ к серверу/хостингу в обход сайта (SSH, файловый менеджер хостинга, панель управления) - на случай, если потребуется быстро отключить модуль или откатить изменения.
Рекомендации по безопасному внедрению
1. Сделайте резервную копию.
2. Включайте механизмы постепенно, начиная с мягких режимов: блокировку ботов - в режиме «только лог», анализ прямых заходов - в режиме «мониторинг».
3. Несколько дней наблюдайте за Дашбордом: оцените, кого модуль заблокировал бы, и нет ли ложных срабатываний.
4. Только убедившись в корректности, переключайте механизмы в режим блокировки.
5. Заранее внесите в белые списки доверенные IP (офис, мониторинг, интеграции, платёжные шлюзы) и нужные подсети.
6. За балансировщиком корректно заполните «Доверенные прокси».
7. Знайте, как быстро отключить модуль: глобальный выключатель в настройках или удаление/переименование каталога модуля на сервере.
Экстренное отключение
Если сайт стал недоступен из-за настроек модуля:
- Отключите модуль глобальным переключателем в настройках (если доступ в админку есть);
- Либо на сервере переименуйте/удалите каталог модуля и при необходимости снимите регистрацию модуля / восстановите сайт из резервной копии.
«Защита от парсинга» - это единый модуль для борьбы со скрейпингом, агрессивными ботами и автоматическим съёмом контента и цен с вашего сайта на 1С-Битрикс.
Парсеры воруют контент, нагружают сервер и сливают вашу базу товаров и цен конкурентам. Модуль выстраивает многоуровневую защиту на стороне PHP и объединяет в одном месте всё, что обычно приходится собирать из разрозненных решений: ограничение частоты запросов, поведенческий анализ, проверку браузера, гео- и IP-фильтрацию, защиту контента и API, интеграцию с Cloudflare и систему уведомлений.
Модуль рассчитан на боевое использование: безопасные значения по умолчанию, мягкие режимы для обкатки без риска заблокировать живых посетителей, корректная работа в кластере и за балансировщиком, минимальное влияние на кэширование и индексацию поисковиками.
Основные возможности
Ограничение запросов (Rate Limiting)
- Лимит запросов по IP за период, хранилище счётчиков - Redis / Memcache / файлы (атомарный подсчёт, корректно в кластере).
- При превышении порога - CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.
Обнаружение и блокировка ботов
- 40+ паттернов вредоносных User-Agent, обнаружение headless-браузеров.
- Threat-scoring 0-100: блокировка по совокупности признаков, а не по одному слабому индикатору (меньше ложных срабатываний).
- Проверка «хороших» ботов через forward-confirmed reverse DNS (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) - подделку Googlebot не пропустит.
- Мягкий режим (только лог) для безопасной обкатки.
- Настраиваемые белые/чёрные списки User-Agent.
JS-проверка браузера и поведенческий анализ
- Фрикционная JS-проверка отсекает примитивных парсеров и автоматизированные браузеры, проверенные поисковики и API не затрагиваются.
- Поведенческий сигнал: реальное взаимодействие пользователя подтверждается подписанной cookie, снижая ложные срабатывания.
- Анализ «холодных» прямых заходов (режимы: выкл / мониторинг / блокировка).
IP-блокировка
- Белый и чёрный списки: отдельные IP, подсети CIDR, маски, IPv6.
- Автоматическая блокировка IP после N нарушений в час (кластер-консистентно).
Гео-блокировка
- Блокировка по странам (чёрный/белый список).
- Определение страны по цепочке источников: заголовок Cloudflare → заголовки веб-сервера (nginx/apache GeoIP и GeoIP2) → штатный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.) → «Bitrix\Sale\Location\GeoIp» → PHP-расширение geoip → база MaxMind. Достаточно любого одного источника.
Защита контента
- 3 уровня защиты, блокировка копирования и контекстного меню, отключаемая плашка «Копирование запрещено».
- Honeypot-ловушки для форм, обфускация e-mail и телефонов.
Защита API
- Ограничение частоты, проверка токена («X-API-Token»), политика CORS, защита по путям.
Интеграция с WAF
- Синхронизация правил блокировки IP с Cloudflare.
Уведомления
- E-mail, Telegram, Webhook - с порогами, защитой от спама (cooldown) и повторными попытками.
Мониторинг и логи
- Дашборд с графиками по часам/дням, топ стран, IP и событий, фильтрами.
- Экспорт в CSV и Fail2Ban, логирование в файлы и/или БД, статистика «люди и боты».
Многосайтовость
- Настройки поведения задаются отдельно для каждого сайта с откатом на глобальные значения. Инфраструктура (ключи капчи, IP-списки, Redis/WAF/уведомления) - общая.
Преимущества
- Всё в одном модуле - не нужно собирать защиту из нескольких решений.
- Безопасные значения по умолчанию и мягкие режимы - можно внедрять без риска заблокировать живых клиентов.
- Не мешает SEO - проверенные поисковики проходят все проверки, индексация не страдает.
- Готов к нагрузке и кластеру - общие счётчики в Redis/Memcache, защита от спуфинга «X-Forwarded-For», «ленивые» сессии не ломают композитный кэш.
- Работает с тем, что уже настроено - подхватывает штатный GeoIP Битрикса, Cloudflare, существующую инфраструктуру.
Интерфейсы в админке
Раздел «Сервисы → Защита от парсинга».
Раздел «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга».
Неправильная настройка может привести к потере доступа к сайту
Модуль предназначен для блокировки нежелательного трафика. Слишком агрессивные или ошибочные настройки могут заблокировать реальных посетителей, а в отдельных случаях - затруднить доступ к самому сайту. Примеры рискованных конфигураций:
- Слишком низкий лимит запросов (rate limit) - блокирует обычных пользователей и легитимные интеграции;
- Гео-блокировка в режиме «белый список» с не теми странами или с включённой блокировкой при неопределённой стране - может закрыть сайт для всех посетителей;
- Добавление в чёрный список IP/подсетей, через которые ходят ваши клиенты, CDN, платёжные шлюзы или интеграции;
- Включение жёстких режимов (блокировка ботов, блокировка прямых заходов) без предварительной обкатки;
- Ошибки в списке «доверенных прокси» за балансировщиком, из-за чего весь трафик считается идущим с одного IP.
Важно: по умолчанию запросы из CLI/cron и от авторизованных администраторов не проверяются - это снижает риск полной блокировки доступа к административной панели. Тем не менее публичная часть сайта при ошибочных правилах может стать недоступной для посетителей, а неверная серверная конфигурация (прокси, кэш, права доступа) - усугубить последствия.
Обязательно делайте резервные копии
Перед установкой модуля, а также перед любыми изменениями его настроек обязательно создавайте резервную копию сайта и базы данных.
Резервная копия должна позволять полностью восстановить:
- Файлы сайта (включая каталог модуля и настройки);
- Базу данных (таблицы настроек «b_option», журналы модуля и т.д.).
Убедитесь, что у вас есть проверенный способ восстановления и доступ к серверу/хостингу в обход сайта (SSH, файловый менеджер хостинга, панель управления) - на случай, если потребуется быстро отключить модуль или откатить изменения.
Рекомендации по безопасному внедрению
1. Сделайте резервную копию.
2. Включайте механизмы постепенно, начиная с мягких режимов: блокировку ботов - в режиме «только лог», анализ прямых заходов - в режиме «мониторинг».
3. Несколько дней наблюдайте за Дашбордом: оцените, кого модуль заблокировал бы, и нет ли ложных срабатываний.
4. Только убедившись в корректности, переключайте механизмы в режим блокировки.
5. Заранее внесите в белые списки доверенные IP (офис, мониторинг, интеграции, платёжные шлюзы) и нужные подсети.
6. За балансировщиком корректно заполните «Доверенные прокси».
7. Знайте, как быстро отключить модуль: глобальный выключатель в настройках или удаление/переименование каталога модуля на сервере.
Экстренное отключение
Если сайт стал недоступен из-за настроек модуля:
- Отключите модуль глобальным переключателем в настройках (если доступ в админку есть);
- Либо на сервере переименуйте/удалите каталог модуля и при необходимости снимите регистрацию модуля / восстановите сайт из резервной копии.
Код модуля
kommutator.antiparser
Категории
Для разработчиков, Инструменты, SEO, Маркетинг, реклама, Безопасность
Адаптивность
Поддержка композита
Подходящие редакции 1С-Битрикс
Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Бизнес, Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Малый бизнес, Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Стандарт, Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Старт, Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Первый сайт (продление), Программа для ЭВМ "1С-Битрикс: Управление сайтом". Лицензия Эксперт (продление), Программа для ЭВМ "1С-Битрикс24". Лицензия Интернет-магазин + CRM (12 мес.)
Включает в себя
Модуль
Дата публикации
27.07.2026
Наличие демо-режима
Отзывы
Оставить отзыв
Загрузка отзывов...
Инструкция
1. Установите модуль через стандартный менеджер модулей.
(Откройте «Маркетплейс» → «Установленные решения», выберите «Защита от парсинга» и нажмите «Установить»)
2. После установки в разделе «Сервисы» появится страница «Защита от парсинга».
(Также доступен путь «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга»)
Первичная настройка
1. Откройте «Сервисы → Защита от парсинга → Настройки» (или «Marketplace → Установленные решения → Защита от парсинга → Настройки»).
2. Включите нужные механизмы защиты. Рекомендуемый порядок внедрения:
- Сначала держите блокировку ботов в режиме «только лог», а анализ прямых заходов - в режиме «мониторинг»;
- Откройте Дашборд (Сервисы → Защита от парсинга → Панель мониторинга) и оцените, кого модуль поймал бы;
- Убедившись в отсутствии ложных срабатываний, переключите механизмы в режим блокировки.
3. За балансировщиком / reverse-proxy обязательно заполните поле «Доверенные прокси» (вкладка «Общие») - укажите IP или подсеть прокси (поддерживается CIDR/IPv6). Без этого заголовки «X Forwarded-For» игнорируются (защита от спуфинга), и все клиенты будут видны под одним IP прокси.
4. Для кластера / высокой нагрузки укажите параметры Redis или Memcache (вкладка «Хранилище») - счётчики и авто-блокировка станут общими для всех нод. Текущий тип хранилища показан там же.
5. Многосайтовость: настройки поведения задаются отдельно для каждого сайта через селектор сайта вверху страницы настроек, с откатом на значения «Все сайты». Общими остаются ключи капчи, IP списки и инфраструктура.
Проверка работоспособности
- В разделе Сервисы появился пункт «Защита от парсинга» с подпунктами «Настройки» и «Панель мониторинга».
- На странице Настройки вкладка «Хранилище» показывает активный тип хранилища (Redis / Memcache / File).
- При включённом логировании события начинают появляться на Дашборде (вкладка статистики и список последних событий).
- Кнопки «Проверить» на вкладке «Уведомления» отправляют тестовое сообщение выбранным способом (E-mail / Telegram / Webhook).
1. Установите модуль через стандартный менеджер модулей.
(Откройте «Маркетплейс» → «Установленные решения», выберите «Защита от парсинга» и нажмите «Установить»)
2. После установки в разделе «Сервисы» появится страница «Защита от парсинга».
(Также доступен путь «Настройки → Настройки продукта → Настройки модулей → Защита от парсинга»)
Первичная настройка
1. Откройте «Сервисы → Защита от парсинга → Настройки» (или «Marketplace → Установленные решения → Защита от парсинга → Настройки»).
2. Включите нужные механизмы защиты. Рекомендуемый порядок внедрения:
- Сначала держите блокировку ботов в режиме «только лог», а анализ прямых заходов - в режиме «мониторинг»;
- Откройте Дашборд (Сервисы → Защита от парсинга → Панель мониторинга) и оцените, кого модуль поймал бы;
- Убедившись в отсутствии ложных срабатываний, переключите механизмы в режим блокировки.
3. За балансировщиком / reverse-proxy обязательно заполните поле «Доверенные прокси» (вкладка «Общие») - укажите IP или подсеть прокси (поддерживается CIDR/IPv6). Без этого заголовки «X Forwarded-For» игнорируются (защита от спуфинга), и все клиенты будут видны под одним IP прокси.
4. Для кластера / высокой нагрузки укажите параметры Redis или Memcache (вкладка «Хранилище») - счётчики и авто-блокировка станут общими для всех нод. Текущий тип хранилища показан там же.
5. Многосайтовость: настройки поведения задаются отдельно для каждого сайта через селектор сайта вверху страницы настроек, с откатом на значения «Все сайты». Общими остаются ключи капчи, IP списки и инфраструктура.
Проверка работоспособности
- В разделе Сервисы появился пункт «Защита от парсинга» с подпунктами «Настройки» и «Панель мониторинга».
- На странице Настройки вкладка «Хранилище» показывает активный тип хранилища (Redis / Memcache / File).
- При включённом логировании события начинают появляться на Дашборде (вкладка статистики и список последних событий).
- Кнопки «Проверить» на вкладке «Уведомления» отправляют тестовое сообщение выбранным способом (E-mail / Telegram / Webhook).
Наличие
Для покупки товара в нашем интернет-магазине выберите понравившийся товар и добавьте его в корзину. Далее перейдите в Корзину и нажмите на «Оформить заказ» или «Быстрый заказ».
Если оформляете быстрый заказ: напишите ФИО, телефон и e-mail. Вам перезвонит менеджер и уточнит условия заказа. По результатам разговора вам придет подтверждение оформления товара на почту или через СМС. Теперь останется только ждать доставки и радоваться новой покупке.
Оформление заказа в стандартном режиме выглядит следующим образом. Заполняете полностью форму по последовательным этапам: адрес, способ доставки, оплаты, данные о себе. Советуем в комментарии к заказу написать информацию, которая поможет курьеру вас найти. Нажмите кнопку «Оформить заказ».
Оплачивайте покупки удобным способом. В интернет-магазине доступно 3 варианта оплаты:
- Наличные при самовывозе или доставке курьером. Специалист свяжется с вами в день доставки, чтобы уточнить время и заранее подготовить сдачу с любой купюры. Вы подписываете товаросопроводительные документы, вносите денежные средства, получаете товар и чек.
- Безналичный расчет при самовывозе или оформлении в интернет-магазине: карты МИР. Чтобы оплатить покупку на сайте, система перенаправит вас на сервер платежной системы. Здесь нужно ввести номер карты, срок действия и имя держателя.
- Электронные системы при онлайн-заказе: ЮMoney. Для совершения покупки система перенаправит вас на страницу платежного сервиса. Здесь необходимо заполнить форму по инструкции.
- Безналичная оплата на наш расчетный счет по выставленному счету.
Экономьте время на получении заказа. В интернет-магазине доступно 4 варианта доставки:
- Электронная поставка - все необходимые сведения о лицензии, праве пользования, кодах, ключах и др. высылаются покупателю на его e-mail.
- Курьерская доставка. Когда товар будет отправлен с нашего склада, Вам придет уведомление. В день доставки с Вами заблаговременно свяжется курьер для уточнения времени и деталей доставки. Доставка производится "до двери". Осмотрите упаковку на целостность и соответствие указанной комплектации.
- Постамат. Когда заказ поступит на точку, на Ваш телефон или e-mail придет уникальный код. Заказ нужно оплатить в терминале постамата. Срок хранения — 3 дня.
- Доставка Почтой России. Когда заказ придет в отделение, на Ваш адрес придет извещение о посылке. Перед оплатой Вы можете оценить состояние коробки: вес, целостность. Вскрывать коробку самостоятельно Вы можете только после оплаты заказа. Один заказ может содержать не больше 10 позиций и его стоимость не должна превышать 100 000 р.
Дополнительная информация.
Новости
Статьи
Статьи
—
29.05.2017
Изучите полный алгоритм продления лицензий на модули 1С-Битрикс: Маркетплейс, включая активацию льготных купонов. Мы детально разбираем все условия: обязательный 30-дневный срок для сохранения максимальной выгоды, пропорциональное ценообразование (12,5%, 25%, 50% от цены модуля) и ограничение по минимальной сумме в 500 рублей. Этот гайд поможет вам эффективно планировать бюджет и гарантировать актуальность вашего проекта.
