ИИ и нейросети

robots.txt и обучение ИИ: Google готовит общий сигнал для сайтов

30 октября Google объявил о планах поддержать в файле robots.txt общий сигнал, которым сайт сможет разом сообщить разным разработчикам ИИ, можно ли обучать модели на его текстах. Запись в блоге Search Central подписал Джон Мюллер, и пока это проект: поддержку вместе с другими разработчиками Google рассчитывает ввести в 2027 году.

Сейчас владельцу сайта приходится писать отдельную инструкцию под каждого разработчика ИИ (у Google для этого есть токен Google-Extended, у других компаний свои). Новая схема предлагает один общий токен в robots.txt, который основан на работе группы AIPREF в Инженерном совете интернета IETF. Если сайт с его помощью запретит обучение и при этом отдельно не укажет Google-Extended, Google планирует считать это запретом и для Google-Extended. Другие поставщики ИИ смогут трактовать сигнал так же.

Прежние настройки никуда не денутся и будут работать рядом с общим сигналом, поэтому можно одним правилом закрыть обучение для всех, а конкретному разработчику открыть доступ. Google особо отмечает один момент: сайты, которые прямо разрешают Google-Extended, могут появляться в ответах приложений Gemini и получать оттуда переходы, потому что этот же токен управляет использованием контента для опоры ответов на источники. Компания подчёркивает, что предложение пока черновое и дальше будет дорабатываться в рабочей группе IETF.

Обычного поиска Google всё это не касается: по документации, Google-Extended управляет обучением моделей Gemini и опорой их ответов на контент, и отдельного поискового робота у него нет.

Для владельца сайта здесь важно различать две разные вещи, которые в разговорах часто смешивают: попадание в поисковую выдачу, которым занимается обычный робот Google, и использование текстов для обучения моделей или для ответов Gemini, которым управляет этот отдельный токен.

Что это значит для бизнеса в Казахстане

Для большинства малых компаний в Казахстане вопрос стоит наоборот: их тексты редко нужно защищать от ИИ, зато их очень нужно показывать в ответах ИИ. Когда человек спрашивает у нейросети, какую компанию выбрать, ваш сайт полезен как источник, и закрывать его ради абстрактной защиты контента невыгодно. Общий запрет, поставленный одной строкой, в этом смысле опасен своей простотой: Google прямо связывает Google-Extended с появлением в ответах Gemini, и случайный запрет обучения для всех может отрезать сайт и от этой витрины.

Другое дело, если вы живёте с уникального контента (платные курсы, авторские исследования, база знаний за подпиской). Такому бизнесу сигнал пригодится, и решение стоит принимать отдельно по разделам сайта. И ещё одна практическая деталь: robots.txt часто правят подрядчики, плагины и шаблоны сайтов, поэтому владелец может и не знать, что у него там написано. Заодно с этой строкой многие спрашивают про llms.txt, и о нём есть отдельный разбор: что это за файл и нужен ли он.

Что сделать

1) Откройте адрес вашсайт.kz/robots.txt и посмотрите, что там написано сегодня, особенно строки с GPTBot, Google-Extended и общим запретом Disallow: /. 2) Решите для себя, что важнее: появляться в ответах нейросетей или закрывать контент от обучения, и запишите это решение, чтобы подрядчик не менял его по своему вкусу. 3) Если сайт продаёт услуги, а тексты открыты для всех, ничего нового пока не добавляйте. 4) Если у вас есть платный или эксклюзивный контент, закрывайте именно эти разделы, а весь сайт оставляйте открытым. 5) Попросите разработчика предупреждать вас о любых правках robots.txt. 6) В 2027 году, когда Google объявит о запуске, вернитесь к вопросу и проверьте, какие разработчики ИИ поддержали сигнал.

Источник: Google Search Central Blog, 30 октября 2026

Бесплатно

Посчитаем, сколько клиентов вы теряете

Смотрим сайт, карточки на картах, позиции в Google и Яндексе и ответы нейросетей по вашей нише, после чего показываем, откуда можно забрать заявки.

Или позвоните: +7 706 448-45-78

WhatsAppTelegram+7 706 448-45-78