Двадцать лет мы оптимизировали сайты под Google. Пора учиться объяснять их машинам, которые читают сайт вместо человека.
Поисковик показывал человеку десять синих ссылок — дальше человек думал сам. AI-агент так не делает: он читает страницу, понимает её и сразу отвечает пользователю или принимает решение — кого порекомендовать, к кому обратиться, что закупить. Если агент вас не понял — вы не «ниже в выдаче», вас просто нет в ответе.
Хорошая новость: новый сайт не нужен. Нужно навести порядок в нескольких слоях, и работают они только вместе.

Три слоя: привратник, путеводитель, паспорт
Коротко суть:
- robots.txt — решает, кого вообще пускать, и указывает ботам дорогу к
llms.txt. - llms.txt — человекочитаемая выжимка в корне сайта: кто вы, услуги, контакты, главные страницы. Поисковик ползёт по всему сайту и догадывается. Агенту вы даёте готовую карту.
- Микроразметка Schema.org / JSON-LD — машинный паспорт страницы: не «красивый текст про компанию», а структурно — организация, контакты, услуги и связи между ними. Без неё агент догадывается. С ней — знает.
Привратник впускает, путеводитель объясняет, паспорт подтверждает. Уберите любой слой — цепочка рвётся.
Честная оговорка: llms.txt — стандарт молодой, скорее emerging convention, чем утверждённая норма, и не все боты читают его одинаково. Но стоит он полчаса работы, а вреда не несёт — поэтому в моём чек-листе он есть.
1. База: делайте контент понятным
Никакой robots.txt не спасёт страницу, которую не понять ни человеку, ни машине.
- Одна страница — одна главная тема.
- Чёткий H1, логичные H2/H3, короткие абзацы.
- Прямые ответы, определения, списки, FAQ.
- Автор, дата публикации и дата обновления.
- Источники, контакты, страница «О нас», редакционная политика.
2. Структура сайта
- ЧПУ-URL, хлебные крошки, canonical,
sitemap.xml. - Семантический HTML:
<header>,<main>,<article>,<nav>,<footer>. - Связанные материалы и внутренняя перелинковка.
- Не прячьте важный текст только в JavaScript.
- Мобильная версия и скорость загрузки — обязательны.
3. robots.txt — правила обхода
Файл в корне сайта управляет доступом ботов к разделам и указывает путь к карте сайта:
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml
# Ссылка на описание для LLM
# https://example.com/llms.txt
Ссылка на llms.txt в комментарии — полезная практика, хотя пока не официальный универсальный стандарт.
4. llms.txt — краткая карта сайта для LLM
Файл в корне (/llms.txt) помогает кратко объяснить назначение сайта, важные разделы, документацию, контакты и ключевые материалы.
Пример:
# Example Site
Описание: Блог и база знаний по AI и SEO.
Разделы: /blog/, /docs/, /faq/
Ключевые материалы: /guide/ai-seo
Контакты: /contact/
Обновлено: 2026-06-02
Включите: краткое описание проекта, целевую аудиторию, основные разделы, ссылки на лучшие материалы, контакты, политику и дату последнего обновления.
5. Микроразметка / Schema.org
JSON-LD — предпочтительный формат. Рекомендуемые типы:
| Тип страницы | Schema.org |
|---|---|
| Блог | Article, BlogPosting |
| FAQ | FAQPage |
| Инструкции | HowTo |
| Компания | Organization |
| Автор | Person |
| Навигация | BreadcrumbList |
| Общие страницы | WebPage |
Минимальный шаблон для статьи:
{
"@context": "https://schema.org",
"@type": "Article",
"headline": "...",
"description": "...",
"author": { "@type": "Person", "name": "..." },
"datePublished": "YYYY-MM-DD",
"dateModified": "YYYY-MM-DD",
"mainEntityOfPage": "URL"
}
6. Что особенно любят AI-системы
- Краткие summary-блоки в начале материала.
- Термин → определение → пример.
- Списки, таблицы, чек-листы.
- Q&A и блоки «Коротко» / TL;DR.
- Alt-текст у изображений и подписи к иллюстрациям.
- Транскрипты для видео и аудио.
7. Управление AI-ботами
Проверяйте правила для конкретных user-agent. Решите, что индексировать, а что нет. Блокируйте приватные, тестовые и дублирующие разделы. Регулярно пересматривайте robots.txt — список ботов растёт.
Примеры user-agent для управления: GPTBot, Google-Extended, ClaudeBot, PerplexityBot, CCBot.
8. Чек-лист перед публикацией
- [ ] Понятный title и H1
- [ ] Summary и FAQ на месте
- [ ] Автор и дата обновления указаны
- [ ] Schema.org / JSON-LD внедрена
- [ ]
sitemap.xmlобновлён - [ ]
robots.txtнастроен - [ ]
llms.txtподготовлен - [ ] Внутренняя перелинковка есть
Итог
Сайт остаётся прежним для людей. Просто теперь его понимают и машины. В мире, где подрядчика всё чаще выбирает агент, а не человек, — это уже не «приятно иметь», а гигиена.
Формула: хороший контент + понятная структура + robots.txt + llms.txt + schema.org = сайт, который понимают и люди, и AI.
Подходит для блогов, корпоративных сайтов, документации, интернет-магазинов и баз знаний.
Материал ранее опубликован в LinkedIn.









