LLM-боты краулят чаще Googlebot: техническая SEO для AI-эры
28 сентября 2026 г. · guides
<span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">technical SEO</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">AI crawlers</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">LLM bots</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">web crawling</span><span style="display: inline-block; background: #f1f8ff; color: #0969da; padding: 0.2em 0.6em; border-radius: 4px; font-size: 0.75em; margin-right: 0.5em; margin-bottom: 0.5em;">SEO infrastructure</span>
## Парадигмальный сдвиг: AI краулит больше, чем Google
BrightEdge internal tracking (2026): AI-краулеры (GPTBot, ClaudeBot, PerplexityBot) кралят сайты **чаще**, чем Googlebot. Agentic AI краулеры составляют 33% всей органической активности.
Это означает: Google может не индексировать ваш сайт месяц, пока PerplexityBot уже прошёл и записал контент неделю назад.
## Кто главные AI-краулеры
### GPTBot (OpenAI)
- Краулит сайты для ChatGPT Search
- Интеграция с Bing Search API
- 34.5% запросов ChatGPT (февраль 2026) используют search вместо training data
- robots.txt: `User-agent: GPTBot`
### ClaudeBot (Anthropic)
- Краулит для Claude с browsing capabilities
- Глубокий парсинг контента
- Focus на технической документации и help pages
### PerplexityBot
- Краулит для Perplexity AI (answer engine)
- ~780 млн запросов в месяц (май 2025)
- Подчёркивает **свежесть** контента — старые страницы выпадают из цитирования
- 46.7% цитат из Reddit (социальные доказательства важны)
### Gemini (Google)
- Интеграция с Google Search index
- 25.5% AI-трафика
- Интеграция с Gmail, Docs, Drive (enterprise контекст)
## Техническое SEO для AI-краулинга
### 1. robots.txt — настройте для AI-ботов
```
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Googlebot
Allow: /
```
### 2. llms.txt / llm.txt
Файл `/.well-known/llms.txt` (аналог sitemap.xml для AI):
- Список AI-friendly инструкций
- Доступные данные для LLM
- Что AI может и не может использовать
**Статистика:** adoption rate — 67%+ (растёт с 65% в 2024).
### 3. Canonical tags
- 67%+ adoption rate (растёт)
- Критически важно: AI scraping фрагментирует URL
- AI может индексировать `/page?v=1`, `/page?ref=email` — canonical решает
### 4. Core Web Vitals — INP metric
- 41% сайтов проходят все 3 CWV метрики (majority failing)
- Не прошедшие CWV → AI-краулеры не могут доступить контент
- Прямная корреляция с доступностью для AI
### 5. Структурированные данные (Schema Markup)
- FAQPage — 8+ вопросов даёт +26.9% цитирования
- Article — author, datePublished, dateModified
- HowTo — для voice search и AEO
- Product/Service — для e-commerce
- LocalBusiness — для локального SEO
- Missing schema — #1 причина низких citation rates
## Технические проблемы, которые мешают AI-краулингу
| Проблема | Решение | Приоритет |
|