Как оптимизировать сайт и блог под AI

Двадцать лет мы оптимизировали сайты под Google. Пора учиться объяснять их машинам, которые читают сайт вместо человека.

Поисковик показывал человеку десять синих ссылок — дальше человек думал сам. AI-агент так не делает: он читает страницу, понимает её и сразу отвечает пользователю или принимает решение — кого порекомендовать, к кому обратиться, что закупить. Если агент вас не понял — вы не «ниже в выдаче», вас просто нет в ответе.

Хорошая новость: новый сайт не нужен. Нужно навести порядок в нескольких слоях, и работают они только вместе.

Три слоя: привратник, путеводитель, паспорт

Коротко суть:

• robots.txt — решает, кого пускать и куда; указывает путь к sitemap.xml. Ссылку на llms.txt можно оставить в комментарии для людей, но боты комментарии не читают — это не директива.
• llms.txt — человекочитаемая выжимка в корне сайта: кто вы, услуги, контакты, главные страницы. Поисковик ползёт по всему сайту и догадывается. Агенту вы даёте готовую карту.
• Микроразметка Schema.org / JSON-LD — машинный паспорт страницы: не «красивый текст про компанию», а структурно — организация, контакты, услуги и связи между ними. Без неё агент догадывается. С ней — знает.

Привратник впускает и открывает карту обхода, путеводитель объясняет смысл, паспорт подтверждает факты. Уберите любой слой — цепочка рвётся.

Честная оговорка: llms.txt — стандарт молодой, скорее emerging convention, чем утверждённая норма, и не все боты читают его одинаково. Но стоит он полчаса работы, а вреда не несёт — поэтому в моём чек-листе он есть.

1. База: делайте контент понятным

Никакой robots.txt не спасёт страницу, которую не понять ни человеку, ни машине.

• Одна страница — одна главная тема.
• Чёткий H1, логичные H2/H3, короткие абзацы.
• Прямые ответы, определения, списки, FAQ.
• Автор, дата публикации и дата обновления.
• Источники, контакты, страница «О нас», редакционная политика.

2. Структура сайта

• ЧПУ-URL, хлебные крошки, canonical, sitemap.xml.
• Семантический HTML: <header>, <main>, <article>, <nav>, <footer>.
• Связанные материалы и внутренняя перелинковка.
• Не прячьте важный текст только в JavaScript.
• Мобильная версия и скорость загрузки — обязательны.

3. robots.txt — правила обхода

Файл в корне сайта управляет доступом ботов к разделам и указывает путь к карте сайта:

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

# Ссылка на описание для LLM
# https://example.com/llms.txt

Канонического способа сослаться на llms.txt из robots.txt пока нет: директива Sitemap: работает только для sitemap.xml, а строка с # https://.../llms.txt — комментарий для людей и документирования, боты её игнорируют. Полезно оставить её в файле как напоминание редактору, но не ждите, что crawler найдёт llms.txt через robots.txt.

4. llms.txt — краткая карта сайта для LLM

Файл в корне (/llms.txt) помогает кратко объяснить назначение сайта, важные разделы, документацию, контакты и ключевые материалы.

Пример:

# Example Site
Описание: Блог и база знаний по AI и SEO.
Разделы: /blog/, /docs/, /faq/
Ключевые материалы: /guide/ai-seo
Контакты: /contact/
Обновлено: 2026-06-02

Включите: краткое описание проекта, целевую аудиторию, основные разделы, ссылки на лучшие материалы, контакты, политику и дату последнего обновления.

llms.txt не заменяет sitemap.xml: sitemap — полный машинный список URL для обхода, llms.txt — курированная человекочитаемая выжимка смысла (кто вы, ключевые страницы). Они дополняют друг друга: sitemap помогает найти всё, llms.txt — быстро понять главное.

5. Микроразметка / Schema.org

JSON-LD — предпочтительный формат. Рекомендуемые типы:

Минимальный шаблон для статьи:

{
  "@context": "https://schema.org",
  "@type": "Article",
  "headline": "...",
  "description": "...",
  "author": { "@type": "Person", "name": "..." },
  "datePublished": "2026-06-14T15:26:32+03:00",
  "dateModified": "2026-06-14T15:26:32+03:00",
  "mainEntityOfPage": "URL"
}

Google рекомендует полный ISO 8601 с временем и часовым поясом, а не только дату YYYY-MM-DD.

6. Что особенно любят AI-системы

• Краткие summary-блоки в начале материала.
• Термин → определение → пример.
• Списки, таблицы, чек-листы.
• Q&A и блоки «Коротко» / TL;DR.
• Alt-текст у изображений и подписи к иллюстрациям.
• Транскрипты для видео и аудио.

7. Управление AI-ботами

Проверяйте правила для конкретных user-agent. Решите, что индексировать, а что нет. Блокируйте приватные, тестовые и дублирующие разделы. Регулярно пересматривайте robots.txt — список ботов растёт.

Примеры user-agent для управления: GPTBot, Google-Extended, ClaudeBot, PerplexityBot, CCBot.

8. Чек-лист перед публикацией

• [ ] Понятный title и H1
• [ ] Summary и FAQ на месте
• [ ] Автор и дата обновления указаны
• [ ] Schema.org / JSON-LD внедрена
• [ ] sitemap.xml обновлён
• [ ] robots.txt настроен
• [ ] llms.txt подготовлен
• [ ] Внутренняя перелинковка есть

Итог

Сайт остаётся прежним для людей. Просто теперь его понимают и машины. В мире, где подрядчика всё чаще выбирает агент, а не человек, — это уже не «приятно иметь», а гигиена.

Формула: хороший контент + понятная структура + robots.txt + llms.txt + schema.org = сайт, который понимают и люди, и AI.

Подходит для блогов, корпоративных сайтов, документации, интернет-магазинов и баз знаний.

Артефакт для агента: сгенерируйте llms.txt за 15 минут

Теория выше — теперь практика. Собрал пакет, который читатель может отдать
своему AI-агенту (Cursor, Claude, ChatGPT и др.) и получить черновик
llms.txt + подсказку для robots.txt под свой сайт.

Скачать пакет: llms-generator.zip

Внутри:

Cursor

1. Распакуйте архив.
2. Скопируйте SKILL.md (и шаблоны) в .cursor/skills/generate-llms-txt/ вашего проекта.
3. В чате: @generate-llms-txt создай llms.txt для https://мой-сайт.ru

Claude / ChatGPT / другой агент

1. Откройте PROMPT.txt или PROMPT.md из архива.
2. Подставьте URL, тип сайта, язык и аудиторию.
3. Вставьте в чат → сохраните вывод как llms.txt → выложите в корень сайта.

Агент сам изучит sitemap и навигацию, отберёт ключевые страницы и выдаст
фрагмент для robots.txt. Проверьте URL вручную перед публикацией — агент
не заменяет здравый смысл.

Материал ранее опубликован в LinkedIn.