Langsung ke konten
Tutorial

Tambahkan llms.txt ke API Anda agar AI dapat ditemukan

| 8 min read

llms.txt memberi tahu LLM apa yang dilakukan API Anda dalam token 6x lebih sedikit dibandingkan HTML. Tutorial langkah demi langkah dengan format spesifikasi, pendekatan dua tingkat, dan contoh dunia nyata.

Digital matrix code representing machine-readable text
Photo by Markus Spiske on Unsplash

Anda menerbitkan dokumen API dalam HTML. Pengembang membacanya, menyalin perintah curl, dan mengintegrasikan API Anda. Alur kerja itu masih berfungsi. Namun semakin banyak "pembaca" Anda yang merupakan LLM, dan mereka memproses Anda Dokumen HTML dikenakan biaya: halaman dokumentasi tipikal membakar 12.000 token sebelum model mengekstrak a URL titik akhir tunggal. Tag HTML, navigasi chrome, dan JavaScript yang dikirimkan situs Anda tidak menambah nilai apa pun untuk LLM.

llms.txt memecahkan ini. Ini adalah file Markdown biasa di root domain Anda yang menjelaskan apa yang dilakukan API Anda, mencantumkan titik akhir Anda, dan menautkan ke dokumen terperinci. LLM menguraikannya 6x lebih sedikit token daripada HTML yang setara. Lebih dari 849 situs telah mengadopsinya, termasuk Anthropic, Cloudflare, Stripe, dan Mintlify.

Apa itu llms.txt (dan apa yang bukan)

Itu llms.txt spesifikasi, diusulkan oleh Jeremy Howard, mendefinisikan file standar di /llms.txt di situs web mana pun. Ini menggunakan judul penurunan harga, blockquote, dan daftar tautan ke mendeskripsikan produk ke model bahasa.

Pikirkan seperti ini: robots.txt memberi tahu perayap penelusuran halaman mana yang akan diindeks. llms.txt memberi tahu model bahasa tentang fungsi produk Anda dan di mana menemukan detailnya.

# robots.txt - tells crawlers what to index
User-agent: *
Allow: /

# llms.txt - tells LLMs what your product does
# Served at /llms.txt as structured Markdown

llms.txt bukan pengganti situs dokumentasi Anda. Ini adalah indeks ringkas, diformat untuk konsumsi mesin. Manusia juga bisa membacanya, tapi audiens utamanya adalah LLM mana pun yang perlu memahami API Anda sebelum membuat kode atau menjawab pertanyaan tentangnya.

Format spesifikasi

Formatnya disengaja untuk setiap baris. Berikut strukturnya:

# Product Name

> One-line product description with key capabilities.

## Section Name

- [Link Title](https://example.com/page): Brief description
- [Another Link](https://example.com/other): Brief description

## Optional: Additional sections

More structured content as needed.
  • Judul H1: Nama produk atau proyek Anda. Satu per file.
  • kutipan blok: Deskripsi satu baris tentang fungsi produk.
  • Bagian H2: Kelompokkan tautan Anda berdasarkan kategori (Dokumentasi, Titik Akhir, Alat).
  • Daftar tautan: Setiap baris memiliki tautan penurunan harga diikuti dengan titik dua dan deskripsi.

Tidak ada HTML. Tidak ada masalah depan. Tidak ada sintaks khusus. Pengurai Markdown mana pun dapat membacanya, dan LLM mana pun bisa mengekstrak informasi terstruktur darinya tanpa alat khusus.

Mengapa token penting: Penurunan harga vs. HTML

Setiap LLM memiliki jendela konteks. Token dihabiskan untuk diurai <div class="nav-wrapper"> Dan <script src="analytics.js"> adalah tanda yang tidak dapat dipahami oleh model skema API Anda. Berikut perhitungannya:

HTML documentation page:     ~12,000 tokens
Same content as Markdown:     ~2,000 tokens
Savings:                      ~83% fewer tokens

Halaman dokumentasi HTML membawa bilah navigasi, footer, sidebar, tag meta, dan tertanam skrip. Hapus semua itu dan konversikan ke Markdown, dan Anda mendapatkan informasi yang sama kira-kira seperenam token. Untuk LLM yang beroperasi mendekati batas konteksnya, itulah perbedaannya menentukan apakah referensi API lengkap Anda cocok dalam satu perintah.

Pendekatan dua tingkat: llms.txt + llms-full.txt

Spesifikasi mendefinisikan dua file dengan peran berbeda:

  • llms.txt adalah ringkasannya. Nama produk, deskripsi satu baris, dan daftar tautan dengan deskripsi singkat. Ukuran target: di bawah 10KB. Sebuah LLM membacakan ini untuk memahami apa yang ditawarkan API Anda dan memutuskan tautan mana yang harus diikuti untuk mengetahui detailnya.
  • llms-full.txt adalah referensi lengkapnya. Itu menyematkan konten tautan itu mengarah ke satu file. Skema permintaan, contoh respons, otentikasi arus, kode kesalahan. Ukuran target: di bawah 100KB. LLM membaca ini ketika perlu dibuat kode yang berfungsi terhadap API Anda.

Mulailah dengan llms.txt. Menambahkan llms-full.txt setelah Anda ingin LLM dihasilkan kode integrasi tanpa mengikuti tautan eksternal.

Langkah demi langkah: tulis llms.txt Anda sendiri

1. Mulailah dengan identitas produk

Buka dengan H1 yang berisi nama produk Anda, diikuti dengan blockquote yang menjelaskan produk Anda dalam satu kalimat. Bersikaplah spesifik. Sertakan jumlah titik akhir, kemampuan utama, dan pembeda apa pun.

# Acme API

&gt; REST API for payment processing. 12 endpoints covering charges, refunds, subscriptions, and webhooks.

## Documentation

- [API Reference](https://docs.acme.com/api): Full endpoint reference with request/response schemas
- [Authentication](https://docs.acme.com/auth): API key setup, OAuth 2.0 flows, and webhook signing
- [Quickstart](https://docs.acme.com/quickstart): Send your first charge in 5 minutes

## Endpoints

- Create charge: POST https://api.acme.com/v1/charges
- Get charge: GET https://api.acme.com/v1/charges/:id
- Create refund: POST https://api.acme.com/v1/refunds
- List subscriptions: GET https://api.acme.com/v1/subscriptions
- Create webhook: POST https://api.acme.com/v1/webhooks

File itu membutuhkan kurang dari 800 token untuk diurai. LLM sekarang mengetahui Acme API menangani pembayaran, memiliki 12 titik akhir, dan dapat mengikuti tiga tautan untuk informasi lebih dalam.

2. Cantumkan titik akhir Anda dengan metode dan URL

Untuk produk API, cantumkan setiap titik akhir dengan metode HTTP dan URL lengkapnya. Ini yang paling berharga bagian untuk pembuatan kode. LLM yang tahu POST https://api.acme.com/v1/charges dapat menghasilkan perintah curl atau panggilan SDK yang berfungsi tanpa membaca dokumen lengkap Anda.

3. Tautan ke spesifikasi yang dapat dibaca mesin

Jika Anda memublikasikan spesifikasi OpenAPI, tautkan ke dalam llms.txt. LLM dapat mengurai OpenAPI JSON dan mengekstrak skema parameter, bidang wajib, dan jenis respons. Sama untuk manifes alat MCP atau Titik akhir introspeksi GraphQL.

4. Bangun llms-full.txt untuk konteks yang mendalam

Ambil setiap titik akhir dari ringkasan Anda dan perluas dengan contoh permintaan/tanggapan:

# Botoi API - Full Documentation

&gt; Complete endpoint reference for all 150+ developer utility endpoints.

## IP Geolocation

POST https://api.botoi.com/v1/ip/lookup

Returns city, region, country, ISP, coordinates, and timezone for any IP address.

**Request:**
\`\`\`json
{ "ip": "8.8.8.8" }
\`\`\`

**Response:**
\`\`\`json
{
  "success": true,
  "data": {
    "ip": "8.8.8.8",
    "city": "Mountain View",
    "region": "California",
    "country": "US",
    "isp": "Google LLC",
    "lat": 37.386,
    "lon": -122.0838
  }
}
\`\`\`

## Email Validation

POST https://api.botoi.com/v1/email/validate
...full documentation for every endpoint

Sertakan muatan yang realistis, bukan data placeholder. Kode integrasi penghasil LLM perlu dilihat nama bidang yang tepat, jenis, dan sarang yang dikembalikan API Anda.

5. Sajikan dengan header yang tepat

Sajikan kedua file dengan text/markdown atau text/plain Tipe Konten. Jika kamu gunakan Nginx:

# Serve llms.txt with correct Content-Type
location = /llms.txt {
    default_type text/markdown;
    add_header X-Robots-Tag "noindex";
}

location = /llms-full.txt {
    default_type text/markdown;
    add_header X-Robots-Tag "noindex";
}

Di Cloudflare Pages, Vercel, atau Netlify, letakkan file di public/ direktori. Platform hosting melayani mereka dengan tipe MIME yang benar dari ekstensi file.

Contoh nyata: llms.txt botoi

Botoi melakukan servis llms.txt pada botoi.com/llms.txt Dan llms-full.txt pada botoi.com/llms-full.txt. Berikut tampilan ringkas dari file ringkasan:

# Botoi - Developer Utility API &amp; MCP Server

&gt; One API key, 150+ developer utility endpoints, and a 49-tool
&gt; MCP server for AI agents. IP geolocation, email validation,
&gt; DNS, hashing, JWT, QR codes, PDF generation, and more.
&gt; Sub-50ms from Cloudflare's edge. Free tier included.

## Free Online Tools

- [JSON Formatter](https://botoi.com/tools/json-formatter): Format, beautify, minify, and validate JSON data
- [Base64 Encoder/Decoder](https://botoi.com/tools/base64-encoder-decoder): Encode and decode Base64 strings
- [Hash Generator](https://botoi.com/tools/hash-generator): Generate SHA-1, SHA-256, SHA-384, SHA-512 hashes

## Botoi API

- [API Documentation](https://api.botoi.com/docs): Full API reference with interactive playground
- [OpenAPI Spec](https://api.botoi.com/openapi.json): Machine-readable OpenAPI 3.1 specification
- [MCP Tool Manifest](https://api.botoi.com/v1/mcp/tools.json): MCP tool definitions for AI agents

## API Endpoints

- IP geolocation: POST https://api.botoi.com/v1/ip/lookup
- Email validation: POST https://api.botoi.com/v1/email/validate
- DNS lookup: POST https://api.botoi.com/v1/dns/lookup
- Hash generation: POST https://api.botoi.com/v1/hash
...150+ more endpoints listed with method and URL

File lengkap mencantumkan setiap alat, 150+ titik akhir API dengan metode dan URL, server MCP konfigurasi untuk lima editor AI, dan perintah pemasangan TypeScript SDK. Sebuah LLM membaca ini file dapat menjawab "Bagaimana cara memvalidasi email dengan botoi?" tanpa mengunjungi satu halaman web pun.

Ambil sendiri:

curl -s https://botoi.com/llms.txt | head -20

Pengoptimalan mesin generatif: melampaui SEO tradisional

SEO tradisional mengoptimalkan crawler Google. Pengoptimalan mesin generatif (GEO) mengoptimalkan Model AI yang menyatukan jawaban dari berbagai sumber. Saat pengembang menanyakan ChatGPT "API apa dapatkah saya gunakan untuk validasi email?", model mengambil dari sumber yang telah diurai atau dapat diambil.

llms.txt adalah salah satu bagian dari strategi GEO. Gambaran lengkapnya meliputi:

  • llms.txt Dan llms-full.txt untuk konsumsi LLM langsung.
  • spesifikasi OpenAPI di URL publik sehingga LLM dapat mengurai skema titik akhir Anda.
  • Penemuan server MCP melalui /.well-known/mcp/server-card.json jadi AI asisten dapat menemukan dan terhubung ke alat Anda.
  • Data terstruktur (JSON-LD) di halaman Anda untuk ekstraksi yang lebih kaya.
  • robots.txt dikonfigurasi untuk mengizinkan perayap AI (GPTBot, ClaudeBot, KebingunganBot).

Setiap lapisan menargetkan cara berbeda LLM menemukan dan menggunakan API Anda. llms.txt adalah titik awal dengan upaya terendah dan dampak tertinggi.

Daftar periksa penerapan

1. Create /llms.txt with product name, description, and key links
2. Create /llms-full.txt with full endpoint documentation
3. Add both files to your robots.txt sitemap (optional)
4. Set Content-Type to text/markdown or text/plain
5. Keep llms.txt under 10KB and llms-full.txt under 100KB
6. Update both files whenever you ship new endpoints
7. Test: curl -s https://yourdomain.com/llms.txt | wc -c

Pertahankan milikmu llms.txt dalam kontrol versi bersama kode sumber API Anda. Perbarui dalam permintaan tarik yang sama tempat Anda menambahkan titik akhir baru. Dokumentasi basi, baik untuk manusia atau mesin, mengikis kepercayaan.

Poin-poin penting

  • LLM membaca dokumen Anda sebelum manusia melakukannya. Agen AI, asisten pengkodean, dan obrolan antarmuka mengurai dokumentasi API untuk menghasilkan kode dan menjawab pertanyaan. Beri mereka format yang bersih.
  • Penurunan harga membutuhkan token 6x lebih sedikit dibandingkan HTML. Navigasi strip, skrip, dan gaya. Sajikan konten yang dibutuhkan LLM dalam format yang mereka proses paling efisien.
  • Dua file mencakup kedua kasus penggunaan. llms.txt adalah indeks ringkasan. llms-full.txt adalah referensi lengkapnya. Mulailah dengan ringkasan; tambahkan versi lengkap bila Anda ingin LLM menghasilkan kode integrasi yang berfungsi.
  • 849+ situs telah mengadopsi format ini. Antropik, Cloudflare, Stripe, dan Mintlify semua melayani llms.txt. Format ini mendapatkan daya tarik sebagai standar GEO.
  • Lihat aksinya. Mengambil botoi.com/llms.txt untuk melihat 150+ API titik akhir yang dijelaskan dalam satu file Penurunan Harga.

FAQ

Apa itu llms.txt dan bagaimana cara kerjanya?
llms.txt adalah file penurunan harga yang disajikan di /llms.txt di domain Anda. Ini menjelaskan produk Anda, titik akhir API, dan tautan dokumentasi dalam format terstruktur yang dapat diurai oleh LLM dengan token minimal. Think of it as robots.txt for AI: robots.txt tells crawlers what to index, llms.txt tells language models what your site offers.
Berapa banyak token yang disimpan llms.txt dibandingkan dengan dokumen HTML?
Penurunan harga menggunakan token sekitar 6x lebih sedikit dibandingkan konten HTML yang setara. Halaman dokumentasi yang berharga 12.000 token dalam HTML dapat dikompres menjadi kurang dari 2.000 token dalam Markdown. Hal ini penting karena LLM memiliki jendela konteks yang terbatas, dan setiap token yang dihabiskan untuk pemformatan adalah token yang tidak digunakan untuk memahami API Anda.
Apakah saya memerlukan llms.txt dan llms-full.txt?
llms.txt adalah ringkasan: nama produk, deskripsi, dan daftar tautan. llms-full.txt berisi konten dokumentasi lengkap yang ditunjuk oleh tautan, tertanam dalam satu file. Mulailah dengan llms.txt. Tambahkan llms-full.txt bila Anda ingin LLM memiliki konteks yang mendalam tanpa mengikuti banyak tautan.
Alat AI manakah yang membaca llms.txt hari ini?
Claude, ChatGPT, Perplexity, dan Cursor semuanya membaca llms.txt saat menjelajahi atau mereferensikan dokumentasi. Agen berbasis MCP dan asisten pengkodean juga mengambilnya untuk penemuan alat. Lebih dari 849 situs telah mengadopsi format ini pada awal tahun 2026, termasuk Anthropic, Cloudflare, Mintlify, dan Stripe.
Di mana saya harus menghosting file llms.txt?
Sajikan di root domain Anda: https://domainanda.com/llms.txt. Gunakan text/markdown atau text/plain sebagai Tipe Konten. Jika Anda memiliki subdomain API, pertimbangkan untuk menyajikannya di domain utama dan subdomain API. Simpan file di bawah 10KB untuk versi ringkasan.

Mulai membangun dengan botoi

150+ endpoint API untuk pencarian, pemrosesan teks, pembuatan gambar, dan utilitas developer. Paket gratis, tanpa kartu kredit.