Перейти к содержимому
Tutorial

Добавьте llms.txt в свой API, чтобы обеспечить возможность обнаружения ИИ.

| 8 min read

llms.txt сообщает LLM, что делает ваш API, используя в 6 раз меньше токенов, чем HTML. Пошаговое руководство с форматом спецификации, двухуровневым подходом и реальным примером.

Digital matrix code representing machine-readable text
Photo by Markus Spiske on Unsplash

Вы публикуете документацию API в формате HTML. Разработчик читает их, копирует команду Curl и интегрирует ваш API. Этот рабочий процесс все еще работает. Но все большая доля ваших «читателей» являются специалистами в области права, и они обрабатывают ваши HTML-документы стоят дорого: типичная страница документации сжигает 12 000 токенов, прежде чем модель извлекает URL-адрес одной конечной точки. HTML-теги, навигационный хром и JavaScript, поставляемые на вашем сайте, не приносят никакой пользы. для LLM.

llms.txt решает это. Это простой файл Markdown в корне вашего домена, который описывает что делает ваш API, перечисляет ваши конечные точки и ссылки на подробную документацию. LLM анализируют его в 6 раз меньше токены, чем эквивалентный HTML. Его приняли более 849 сайтов, включая Anthropic, Cloudflare, Страйп и Минтлайфай.

Что такое llms.txt (и чем он не является)

The llms.txt спецификация, предложенная Джереми Ховардом, определяет стандартный файл по адресу /llms.txt на любом сайте. Он использует заголовки Markdown, цитаты и списки ссылок для описывать продукт с помощью языковых моделей.

Подумайте об этом так: robots.txt сообщает поисковым роботам, какие страницы индексировать. llms.txt сообщает языковым моделям, что делает ваш продукт и где найти подробности. 

# robots.txt - tells crawlers what to index
User-agent: *
Allow: /

# llms.txt - tells LLMs what your product does
# Served at /llms.txt as structured Markdown

llms.txt не является заменой вашего сайта документации. Это краткий индекс, отформатирован для машинного потребления. Люди тоже могут это прочитать, но основная аудитория — любой LLM. которому необходимо понять ваш API, прежде чем генерировать код или отвечать на вопросы о нем.

Формат спецификации

Формат продуман для каждой строки. Вот структура: 

# Product Name

> One-line product description with key capabilities.

## Section Name

- [Link Title](https://example.com/page): Brief description
- [Another Link](https://example.com/other): Brief description

## Optional: Additional sections

More structured content as needed.
  • Заголовок H1: Название вашего продукта или проекта. По одному на файл.
  • Блок-цитата: Однострочное описание того, что делает продукт.
  • Разделы H2: Группируйте ссылки по категориям (Документация, Конечные точки, Инструменты).
  • Списки ссылок: В каждой строке есть ссылка Markdown, за которой следует двоеточие и описание.

Нет HTML. Никакого фронтмена. Нет специального синтаксиса. Любой парсер Markdown может прочитать его, и любой LLM может извлекать из него структурированную информацию без специальных инструментов.

Почему токены важны: Markdown против HTML

У каждого LLM есть контекстное окно. Токены потрачены на парсинг <div class="nav-wrapper"> и <script src="analytics.js"> это жетоны, которые модель не может потратить, понимание ваша схема API. Вот математика: 

HTML documentation page:     ~12,000 tokens
Same content as Markdown:     ~2,000 tokens
Savings:                      ~83% fewer tokens

Страница документации HTML содержит панели навигации, нижние колонтитулы, боковые панели, метатеги и встроенные сценарии. Уберите все это и преобразуйте в Markdown, и вы получите ту же информацию в примерно одна шестая жетонов. Для LLM, работающих вблизи своего контекстного предела, эта разница определяет, помещается ли ваша полная ссылка на API в одно приглашение.

Двухуровневый подход: llms.txt + llms-full.txt.

Спецификация определяет два файла с разными ролями:

  • llms.txt это резюме. Название продукта, однострочное описание, и список ссылок с краткими описаниями. Целевой размер: менее 10 КБ. LLM читает это, чтобы понять, что предлагает ваш API, и решить, по каким ссылкам перейти для получения подробной информации.
  • llms-full.txt это полная ссылка. Он встраивает контент эти ссылки указывают на один файл. Схемы запросов, примеры ответов, аутентификация потоки, коды ошибок. Целевой размер: менее 100 КБ. LLM читает это, когда ему необходимо сгенерировать рабочий код для вашего API.

Начните с llms.txt. Добавлять llms-full.txt как только вы захотите, чтобы LLM генерировали код интеграции без перехода по внешним ссылкам.

Шаг за шагом: напишите свой собственный llms.txt

1. Начните с идентификации продукта

Откройте H1, содержащий название вашего продукта, за которым следует цитата, описывающая ваш продукт. в одном предложении. Будьте конкретны. Укажите количество конечных точек, ключевые возможности и любые отличительные черты. 

# Acme API

&gt; REST API for payment processing. 12 endpoints covering charges, refunds, subscriptions, and webhooks.

## Documentation

- [API Reference](https://docs.acme.com/api): Full endpoint reference with request/response schemas
- [Authentication](https://docs.acme.com/auth): API key setup, OAuth 2.0 flows, and webhook signing
- [Quickstart](https://docs.acme.com/quickstart): Send your first charge in 5 minutes

## Endpoints

- Create charge: POST https://api.acme.com/v1/charges
- Get charge: GET https://api.acme.com/v1/charges/:id
- Create refund: POST https://api.acme.com/v1/refunds
- List subscriptions: GET https://api.acme.com/v1/subscriptions
- Create webhook: POST https://api.acme.com/v1/webhooks

Для анализа этого файла требуется менее 800 токенов. LLM теперь знает, что Acme API обрабатывает платежи, и имеет 12 конечные точки и можно перейти по трем ссылкам для получения более подробной информации.

2. Перечислите свои конечные точки с методами и URL-адресами.

Для продуктов API укажите каждую конечную точку с указанием ее метода HTTP и полного URL-адреса. Это самое ценное раздел для генерации кода. LLM, который знает POST https://api.acme.com/v1/charges может сгенерировать рабочую команду Curl или вызов SDK, не читая полную документацию.

3. Ссылка на машиночитаемые спецификации.

Если вы публикуете спецификацию OpenAPI, добавьте ссылку на нее в своем llms.txt. LLM могут анализировать OpenAPI JSON и извлекайте схемы параметров, обязательные поля и типы ответов. То же самое для манифестов инструментов MCP или Конечные точки интроспекции GraphQL.

4. Создайте llms-full.txt для более глубокого контекста.

Возьмите каждую конечную точку из вашего резюме и дополните его примерами запросов/ответов: 

# Botoi API - Full Documentation

&gt; Complete endpoint reference for all 150+ developer utility endpoints.

## IP Geolocation

POST https://api.botoi.com/v1/ip/lookup

Returns city, region, country, ISP, coordinates, and timezone for any IP address.

**Request:**
\`\`\`json
{ "ip": "8.8.8.8" }
\`\`\`

**Response:**
\`\`\`json
{
  "success": true,
  "data": {
    "ip": "8.8.8.8",
    "city": "Mountain View",
    "region": "California",
    "country": "US",
    "isp": "Google LLC",
    "lat": 37.386,
    "lon": -122.0838
  }
}
\`\`\`

## Email Validation

POST https://api.botoi.com/v1/email/validate
...full documentation for every endpoint

Включайте реалистичные полезные данные, а не данные-заполнители. Код интеграции, генерирующий LLM, должен видеть точные имена полей, типы и вложенность, возвращаемые вашим API.

5. Подавайте с правильными заголовками

Подавать оба файла с text/markdown или text/plain Тип контента. Если ты используйте Нгинкс: 

# Serve llms.txt with correct Content-Type
location = /llms.txt {
    default_type text/markdown;
    add_header X-Robots-Tag "noindex";
}

location = /llms-full.txt {
    default_type text/markdown;
    add_header X-Robots-Tag "noindex";
}

На страницах Cloudflare, Vercel или Netlify перетащите файлы на свой public/ каталог. Платформа хостинга предоставляет им правильный тип MIME из расширения файла.

Реальный пример: файл llms.txt от botoi.

Ботой служит llms.txt в botoi.com/llms.txt и llms-full.txt в botoi.com/llms-full.txt. Вот сжатый вид сводного файла: 

# Botoi - Developer Utility API &amp; MCP Server

&gt; One API key, 150+ developer utility endpoints, and a 49-tool
&gt; MCP server for AI agents. IP geolocation, email validation,
&gt; DNS, hashing, JWT, QR codes, PDF generation, and more.
&gt; Sub-50ms from Cloudflare's edge. Free tier included.

## Free Online Tools

- [JSON Formatter](https://botoi.com/tools/json-formatter): Format, beautify, minify, and validate JSON data
- [Base64 Encoder/Decoder](https://botoi.com/tools/base64-encoder-decoder): Encode and decode Base64 strings
- [Hash Generator](https://botoi.com/tools/hash-generator): Generate SHA-1, SHA-256, SHA-384, SHA-512 hashes

## Botoi API

- [API Documentation](https://api.botoi.com/docs): Full API reference with interactive playground
- [OpenAPI Spec](https://api.botoi.com/openapi.json): Machine-readable OpenAPI 3.1 specification
- [MCP Tool Manifest](https://api.botoi.com/v1/mcp/tools.json): MCP tool definitions for AI agents

## API Endpoints

- IP geolocation: POST https://api.botoi.com/v1/ip/lookup
- Email validation: POST https://api.botoi.com/v1/email/validate
- DNS lookup: POST https://api.botoi.com/v1/dns/lookup
- Hash generation: POST https://api.botoi.com/v1/hash
...150+ more endpoints listed with method and URL

В полном файле перечислены все инструменты, все более 150 конечных точек API с методами и URL-адресами, сервер MCP. конфигурация для пяти редакторов AI и команда установки TypeScript SDK. LLM читает это file может ответить на вопрос: «Как мне проверить электронную почту с помощью botoi?» не посещая ни одной веб-страницы.

Получите сами: 

curl -s https://botoi.com/llms.txt | head -20

Генеративная оптимизация движка: за пределами традиционного SEO

Традиционное SEO оптимизируется для сканера Google. Генеративная оптимизация двигателя (GEO) оптимизирует Модели искусственного интеллекта, которые синтезируют ответы из нескольких источников. Когда разработчик спрашивает ChatGPT «Какой API можно ли использовать для проверки электронной почты?», модель извлекается из источников, которые она проанализировала или может получить.

llms.txt является частью стратегии GEO. Полная картина включает в себя:

  • llms.txt и llms-full.txt для прямого потребления LLM.
  • Спецификация OpenAPI по общедоступному URL-адресу, чтобы LLM могли анализировать ваши схемы конечных точек.
  • Обнаружение сервера MCP с помощью /.well-known/mcp/server-card.json так что ИИ помощники смогут найти ваши инструменты и подключиться к ним.
  • Структурированные данные (JSON-LD) на ваших страницах для более эффективного извлечения.
  • robots.txt настроен на разрешение сканеров искусственного интеллекта (GPTBot, ClaudeBot, ПерплекситиБот).

Каждый уровень нацелен на разные способы, которыми LLM обнаруживают и используют ваш API. llms.txt есть отправная точка с наименьшими усилиями и максимальной отдачей.

Контрольный список развертывания

1. Create /llms.txt with product name, description, and key links
2. Create /llms-full.txt with full endpoint documentation
3. Add both files to your robots.txt sitemap (optional)
4. Set Content-Type to text/markdown or text/plain
5. Keep llms.txt under 10KB and llms-full.txt under 100KB
6. Update both files whenever you ship new endpoints
7. Test: curl -s https://yourdomain.com/llms.txt | wc -c

Держите свой llms.txt в системе контроля версий вместе с исходным кодом вашего API. Обновите его в том же запросе на включение, в котором вы добавляете новую конечную точку. Устаревшая документация, будь то для людей или машины, подрывает доверие.

Ключевые моменты

  • Магистр права читает ваши документы раньше, чем это делают люди. Агенты искусственного интеллекта, помощники по программированию и чат интерфейсы анализируют документацию API, чтобы генерировать код и отвечать на вопросы. Дайте им чистый формат.
  • Markdown стоит в 6 раз меньше токенов, чем HTML. Уберите навигацию, скрипты и стили. Предоставляйте контент, необходимый LLM, в том формате, который они обрабатывают наиболее эффективно.
  • Два файла охватывают оба варианта использования. llms.txt является сводным индексом. llms-full.txt это полная ссылка. Начните с резюме; добавьте полную версию когда вы хотите, чтобы LLM генерировали рабочий код интеграции.
  • Более 849 сайтов приняли этот формат. Anthropic, Cloudflare, Stripe и Mintlify все служат llms.txt. Этот формат набирает обороты как стандарт GEO.
  • Посмотрите это в действии. Принести botoi.com/llms.txt чтобы увидеть более 150 API конечных точек, описанных в одном файле Markdown.

FAQ

Что такое llms.txt и как он работает?
llms.txt — это файл Markdown, хранящийся в /llms.txt в вашем домене. Он описывает ваш продукт, конечные точки API и ссылки на документацию в структурированном формате, который LLM может анализировать с минимальным количеством токенов. Думайте об этом как о robots.txt для ИИ: robots.txt сообщает сканерам, что индексировать, а llms.txt сообщает языковым моделям, что предлагает ваш сайт.
Сколько токенов сохраняет llms.txt по сравнению с документами HTML?
Markdown использует примерно в 6 раз меньше токенов, чем эквивалентный HTML-контент. Страница документации, стоимость которой составляет 12 000 токенов в HTML, может быть сжата до менее чем 2 000 токенов в Markdown. Это важно, поскольку LLM имеют ограниченные контекстные окна, и каждый токен, потраченный на форматирование, — это токен, не потраченный на понимание вашего API.
Нужны ли мне как llms.txt, так и llms-full.txt?
llms.txt — это сводка: название продукта, описание и список ссылок. llms-full.txt содержит полное содержимое документации, на которую указывают ссылки, встроенное в один файл. Начните с llms.txt. Добавьте llms-full.txt, если вы хотите, чтобы LLM имели глубокий контекст без перехода по нескольким ссылкам.
Какие инструменты искусственного интеллекта сегодня читают llms.txt?
Claude, ChatGPT, Perplexity и Cursor читают llms.txt при просмотре документации или ссылках на нее. Агенты на базе MCP и помощники по программированию также извлекают его для обнаружения инструментов. По состоянию на начало 2026 года более 849 сайтов приняли этот формат, включая Anthropic, Cloudflare, Mintlify и Stripe.
Где мне следует разместить файл llms.txt?
Разместите его в корне вашего домена: https://yourdomain.com/llms.txt. Используйте text/markdown или text/plain в качестве Content-Type. Если у вас есть субдомен API, рассмотрите возможность его обслуживания как в основном домене, так и в субдомене API. Для сводной версии размер файла не должен превышать 10 КБ.

Начните разработку с botoi

150+ API-эндпоинтов для поиска, обработки текста, генерации изображений и утилит для разработчиков. Бесплатный тариф, без банковской карты.

Документация API Все инструменты