ИИ для сайта

Защита от ботов не пускает на сайт вашего же чат-бота: как добавить исключение в Cloudflare и почему робота может остановить даже старый .htaccess

Эдгар Косулин 7 мин чтения

Серия «ИИ-консультант на сайте» · часть 9 из 9

Содержание

14 ноября мы подняли временный сайт на WordPress, семь страниц и карта сайта, и спрятали его за Cloudflare в режиме Under Attack. Потом попробовали подключить к нему наш ИИ-консультант. Бот получил отказ, как и должен был. Мы добавили в Cloudflare одно правило, и тот же бот прочитал все семь страниц.

В тот же день другой сайт отказал нашему роботу безо всякого Cloudflare. Причиной оказались четыре буквы в имени робота и список «плохих ботов», который годами переписывают в .htaccess из старых руководств.

Ниже оба случая: как выглядит отказ, как пустить одного нужного робота и не выключить защиту для остальных, и как проверить свой сайт на такой список.

Как это выглядит со стороны сервиса

Владелец открывает сайт в браузере, всё работает. Сервис, который ходит на сайт сам, пишет, что прочитать его не может. Это может быть ИИ-консультант, мониторинг доступности, SEO-аудит, приём уведомлений от платёжной системы, обмен с учётной системой или агрегатор, который забирает выгрузку товаров.

Вместо страницы такой сервис получает ответ 403 и страницу проверки «вы не робот». У Cloudflare в ней есть подпись challenges.cloudflare.com. Человек проходит проверку незаметно или ставит галочку, а программа решить её не может. И не должна: проверку для того и ставят, чтобы программы не проходили.

Признаки, что дело в защите:

  • сервис сообщает об отказе с кодом 403 или 429, а в браузере сайт открывается;
  • в журнале событий защиты виден заблокированный запрос. У Cloudflare это Security → Events.

Наш бот в таком случае пишет «Сайт закрыт защитой от ботов» и называет защиту, если узнал её по подписи в отказе. Сейчас он узнаёт Cloudflare, DDoS-Guard, BotHunt, Qrator, AntiBot.Cloud, Servicepipe, Variti, StormWall и Yandex SmartCaptcha.

Почему исключение, а не обход

Обходить чужую защиту мы не стали. Так решили 21 октября, после первого такого случая: у сайта клиента карта сайта и выгрузка товаров читались, а страницы отдавали проверку. Если владелец закрыл сайт от роботов, пускать нужного робота должен он сам.

Пускают его по адресу сервера, а не по имени. Имя робота передаётся в каждом запросе, и подставить его может кто угодно: назваться поисковым роботом или нашим ботом ничего не стоит. Адрес сервера, с которого идёт запрос, так не подделать. Исключение по адресу пропускает только выбранные проверки и только для одного источника. Вход по паролю и всё остальное на сайте остаются как были.

Поэтому первое, что стоит спросить у сервиса: с какого адреса он ходит на сайт и как называется его робот. Адрес нужен для правила, имя поможет найти его запросы в журнале.

Правило в Cloudflare

Названия ниже из англоязычного кабинета Cloudflare, мы сверяли их 14 ноября:

  1. Security → Security rules → Create rule → Custom rules.
  2. В поле выражения: ip.src eq 203.0.113.10, где вместо 203.0.113.10 адрес сервиса.
  3. Действие Skip. В More components to skip отметить Security Level (это исключение из Under Attack) и Browser Integrity Check.
  4. Статус Active, затем Deploy.

Если на сайте есть свои правила, которые блокируют или проверяют посетителей, исключение должно стоять выше них. Иначе запрос заблокируют раньше, чем до него дойдёт очередь.

На нашем проверочном сайте до правила главная и карта сайта отвечали нашему серверу 403. После Deploy те же адреса ответили 200, и повторное чтение прошло: 7 страниц, бот готов отвечать.

Пошаговая инструкция со скриншотами и таблицей, что ещё отметить в Skip, если бот всё равно получает отказ (WAF, Super Bot Fight Mode, ограничение частоты), лежит в справке о защите от ботов. Там же адрес нашего сервера.

Bot Fight Mode

У Cloudflare есть бесплатный режим Bot Fight Mode. По документации Cloudflare действием Skip он не отключается: исключения для него нет.

На нашей проверке он не помешал. С включённым режимом мы отправили с нашего сервера девять запросов подряд, в том числе с откровенно роботными подписями, и все получили 200. Потом прошло настоящее чтение сайта. Но это один сайт и один день. Если после правила отказ остался и Bot Fight Mode включён, начните с него.

Другие защиты и чужие настройки

У DDoS-Guard, Qrator, StormWall и других сервисов то же самое называется по-разному: «белый список», «исключения», «доверенные адреса», allowlist. Ищите исключение по IP, которое пропускает запросы без проверки браузера. Где оно и есть ли оно на вашем тарифе, зависит от сервиса. Если подходящей настройки нет, спросите поддержку защиты.

Если защиту ставил хостинг или подрядчик, перешлите им адрес сервиса и попросите разрешить его для сайта. Тому, кто знает панель защиты, это несколько минут.

Выключить защиту на час, пока сервис читает сайт, не выйдет. Наш бот перечитывает сайт каждый день, чтобы знать новые товары и цены, мониторинг ходит каждые несколько минут. Завтра сервис снова упрётся в проверку.

Обратная задача, как закрыться от ботов, которые подбирают пароли, разобрана в статье про Fail2ban.

Когда Cloudflare ни при чём: четыре буквы в имени робота

Другой сайт на WordPress отвечал нашему роботу 403 на всё: на главную, robots.txt, карту сайта. Страница отказа была голой, без проверки и без названия защиты. Браузеру, запросу без имени и роботам Google и Яндекса тот же сайт отвечал 200.

Мы стали перебирать имена. Отказ получало любое имя, в котором есть «obot» в любом регистре: oBot, Robot, FooBots. Это строка из списка «плохих роботов», который годами копируют в .htaccess из руководств по защите сайта. Наш сборщик тогда назывался SitekoBots, и «SitekoBots» попадал под правило случайно. Googlebot и YandexBot не попадают: у них перед «bot» другие буквы.

Под то же правило попадёт любой сервис, у которого в имени есть слово Robot. Например, мониторинг доступности UptimeRobot.

Наша ошибка в этой истории

Человек, который хотел подключить бота к этому сайту, получил от нас неверное объяснение. Бот написал, что не нашёл на главной текста и так бывает, когда сайт собран из картинок. Текста на главной было 15 тысяч знаков. Голый 403 мы тогда не считали защитой и списали отказ на пустую страницу.

Мы переименовали сборщик в Siteko-Bots, а голый отказ 403 или 429 на главной теперь называем прямо: сайт закрыт защитой. После переименования тот же сайт прочитался за 25 секунд.

Как проверить свой .htaccess

Откройте .htaccess в корне сайта и поищите длинные списки имён рядом с User-Agent. Обычно это строки вида SetEnvIfNoCase User-Agent "..." bad_bot с запретом deny from env=bad_bot или RewriteCond %{HTTP_USER_AGENT} с правилом [F]. Такой список мог прийти вместе с плагином защиты, шаблоном или от прежнего разработчика. Бывают такие списки и в настройках nginx, и в плагинах безопасности CMS.

Проверить снаружи можно двумя запросами из терминала:

curl -s -o /dev/null -w '%{http_code}\n' -A 'Mozilla/5.0' https://ваш-сайт.ru/
curl -s -o /dev/null -w '%{http_code}\n' -A 'TestRobot/1.0' https://ваш-сайт.ru/

Первый запрос притворяется браузером, второй называет себя роботом. Если первый вернул 200, а второй 403, сайт отказывает по имени. Тогда список стоит убрать или сократить до тех имён, от которых вы правда закрываетесь. Плохой робот назовётся как угодно, а под обрывок имени попадают нужные сервисы.

Если оба запроса получили 403, а в браузере сайт открывается, перед сайтом стоит проверка браузера, как Under Attack у Cloudflare. Тогда нужно исключение по адресу из раздела выше.

Наши ошибки с «одним шагом» и счётчиком

В первой версии бот писал владельцу закрытого сайта: «нужен один шаг с вашей стороны, добавьте адрес в белый список». Настраивая Cloudflare на проверочном сайте, мы насчитали в нынешней панели десять действий на трёх экранах. Человек, который пришёл посмотреть демо, туда не пойдёт. Текст поменяли на «напишем вам и поможем настроить», инструкция осталась под ссылкой «Настрою сам».

Вторая ошибка была в ограничителе. Он считал повторные проверки одного сайта как новые адреса. Владелец, который правит правило и проверяет раз за разом, на одиннадцатой попытке получал «Слишком много адресов». Теперь у повторов свой счёт: 10 проверок одного сайта в сутки.

Если защиты нет, а бот всё равно не видит страницы

Отказ защиты не единственная причина. Бот может не найти страницы, если карта сайта устарела и в ней нет новых разделов, если раздел закрыт в robots.txt, а сервис его правила соблюдает, или если карты нет совсем. Как наш бот находит страницы и что проверить в таких случаях, описано в справке об источниках. А как подключить консультанта целиком, от подготовки страниц до первых недель, в статье о подключении ИИ-консультанта.

Как это устроено на Siteko. ИИ-консультант читает открытые страницы сайта с адреса нашего сервера, робот называется Siteko-Bots. Сайт он перечитывает каждый день. Если сайт закрыт защитой, бот так и пишет и называет её, когда узнал. Адрес для исключения и инструкция со скриншотами в справке о защите от ботов. Не хотите разбираться в настройках сами, напишите нам: поможем настроить вместе с тем, кто ведёт сайт. Это бесплатно.

Если ваш сервис пишет, что не может прочитать сайт, начните с журнала событий защиты: там видно, какой запрос остановили и каким правилом. Нет защиты и нет записи в журнале, значит, пора открыть .htaccess.

Серия

ИИ-консультант на сайте

  1. 1. Чат-бот для сайта: ИИ, сценарии или живой оператор
  2. 2. Чат-бот для интернет-магазина: подбор товаров, цены и наличие
  3. 3. Бесплатный чат-бот для сайта: какие бывают и где подвох
  4. 4. Как подключить ИИ-консультанта на сайт: пошагово
  5. 5. Разработка чат-бота для сайта или готовый сервис
  6. 6. Чат-бот не находит ответ, который есть на сайте: почему условия магазина тонут в каталоге
  7. 7. Покупатель просит менеджера, а вы не за компьютером: как ответить ему из Telegram или MAX
  8. 8. Чат-бот говорит «в наличии» про товар, которого нет на складе: что не так с выгрузкой YML из Битрикса и как проверить свою
  9. 9. Защита от ботов не пускает на сайт вашего же чат-бота: как добавить исключение в Cloudflare и почему робота может остановить даже старый .htaccess

Безопасность

Поделиться: Telegram ВКонтакте

Новые статьи и разборы — в канале Siteko: Telegram MAX

Подписчикам: +30 дней к пробному хостингу, клиентам: +150 ₽ на баланс

Пошаговые инструкции по нашим услугам — в базе знаний

Ещё по теме

Как выглядит визит по ссылке из ChatGPT, почему аналитика принимает его за рекламную метку, сколько их было у нас с августа и что проверить у себя.

«Нейросети без магии», часть 4

ИИ для сайта 6 мин чтения

llms.txt: что это за файл и нужен ли он вашему сайту

Что такое файл llms.txt, чем он отличается от robots.txt и sitemap.xml, как выглядит внутри, что изменилось в версии 2 и работает ли он на самом деле, с честным ответом про поддержку у Google, OpenAI и Anthropic.

«Нейросети без магии», часть 3

ИИ для сайта 7 мин чтения

Как сделать сайт видимым для нейросетей

Как нейросети узнают про сайты, какие боты за это отвечают, как проверить, не закрыты ли они в robots.txt, почему сайт на JavaScript для них пустой и что можно сделать, не обещая себе гарантий.

«Нейросети без магии», часть 2