Блокирането на AI ботове може да спре и Googlebot

преди 1 ден

време за четене: 3 мин.

На 15 септември 2026 г. Cloudflare смени настройките по подразбиране за автоматичния трафик към сайтовете, които минават през мрежата ѝ. Промяната звучи като добра новина за всеки, който не иска съдържанието му да храни чужд модел безплатно. Същият превключвател обаче спира и обхождащия робот на Google, а това се плаща с видимост в търсенето.

Робот пазач спуска метална преграда пред двама съвсем еднакви робота на входа на осветена сграда, единият от тях носи лупа и папка, другият празен чувал, а пазачът гледа встрани и не ги различава

Какво се променя от днес

Cloudflare раздели автоматичния трафик на три категории. Search са търсачките, които обхождат сайта, за да го покажат в резултатите. Agent са системите, които извличат страница в момента, в който човек е задал заявка. Training е събирането на съдържание за обучение на модели.

От днес Training и Agent се блокират по подразбиране, а Search остава разрешен. Блокирането не обхваща целия сайт. То се прилага там, където автоматичното разпознаване открие реклами, а обосновката на компанията е, че рекламата е сигнал за страница, предназначена за човек.

Съществено е кого точно засяга промяната. Обявлението от юли говори за нови домейни, но прессъобщението добавя и втора група: всички съществуващи клиенти на безплатния план, които не са променили настройките си до 15 септември. Конфигуриран платен план не се пипа днес. Тоест най-засегнати са малките сайтове, които никой не е настройвал, а това е точно профилът на българския блог, онлайн магазин или фирмена страница.

Защо блокирането на AI ботове засяга и търсачките

Тук е капанът, който документацията описва, а повечето отразявания пропускат. Настройките се налагат по най-ограничителното приложимо правило. Част от обхождащите роботи са многоцелеви, тоест един и същ робот събира и за търсачката, и за обучение на модел.

Компанията ги изброява поименно. Googlebot, Applebot и BingBot ще бъдат блокирани при клиентите, избрали да спрат Training, независимо дали са го направили през новите настройки, или през стария превключвател за блокиране на AI ботове. Сайт, който иска само да не храни чужд модел, може мълчаливо да изпадне от индекса на търсачката.

Разликата спрямо познатия файл robots.txt е съществена. Той е препоръка и добросъвестният робот я спазва доброволно. Блокирането при Cloudflare е на мрежово ниво, тоест заявката изобщо не стига до сайта.

Какво показва мащабът

Числата на компанията обясняват защо се стига дотук. Събирането за обучение вече е мнозинството от заявките на обхождащите роботи, при около 20% през пролетта на 2025 г. Заявките от агенти са нараснали многократно за една година.

Нашият екип наблюдава, че решението не премахва избора, а го прави видим. Издателят вече избира открито между видимост в търсенето и защита на съдържанието си, вместо да получава и двете наведнъж. Cloudflare назовава напрежението, но не го решава, защото многоцелевият робот си остава един.

Уговорка за точност: на безплатния план разпознаването става само по името, с което роботът се представя. То може да бъде подменено, тоест защитата там е по-слаба, отколкото звучи в съобщението.

Категорията Agent заслужава отделна преценка, защото последицата ѝ е различна. Тя не се отнася за събиране на данни, а за момента, в който човек пита помощник за работното време, цената или адреса на дадена фирма и системата отива да прочете страницата. Блокирана заявка от агент означава ненамерен отговор за конкретен човек с конкретно намерение да купи.

Какво може да се направи

Проверката отнема минути и се прави днес, а не когато трафикът вече е паднал. Отваряте таблото на Cloudflare, влизате в настройките за автоматичния трафик и разглеждате състоянието на трите категории поотделно.

Ако сайтът живее от търсене, Search остава разрешен, а Training се преценява отделно и съзнателно. Ако някога е бил включен старият превключвател за блокиране на AI ботове, той се преразглежда, защото именно той носи страничния ефект. Спадът в обхождането се вижда в Search Console за дни, а възстановяването на позициите отнема значително повече.

Заключение

Настройка с една отметка носи две последици, а само едната стои в заглавието на съобщението. Проверката на собствените настройки днес струва няколко минути и спестява месеци възстановено класиране.

Помагаме на български организации да управляват достъпа на автоматичните системи до съдържанието си, без да губят видимост в търсачките. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при промяна на правилата за обхождане на сайт, който носи трафик от търсене. [Свържете се с нас за консултация: academy@razvivai.se]