robots.txt в 2026: что изменилось для AI-краулеров

<span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">robots.txt</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">GPTBot</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">ClaudeBot</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">Доступ</span>

## robots.txt и AI-краулеры В 2026 году robots.txt регулирует не только Google и Bing, но и AI-ботов. Важно указать правила для каждого типа бота отдельно. ## Блокировка AI-краулеров Если вы не хотите, чтобы ChatGPT или Claude индексировали ваш сайт: User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow: / ## Разрешение доступа Для оптимизации под AI-поиск — разрешите доступ к ключевым страницам: User-agent: GPTBot\nAllow: /blog/\nAllow: /articles/ ## Ссылка на sitemap Убедитесь, что robots.txt ссылается на sitemap: Sitemap: https://yourdomain.com/sitemap-index.xml ## Важно Не блокируйте ваш основной контент от AI-краулеров — вы теряете трафик из новых каналов.