Tambahkan llms.txt ke API Anda agar AI dapat ditemukan
llms.txt memberi tahu LLM apa yang dilakukan API Anda dalam token 6x lebih sedikit dibandingkan HTML. Tutorial langkah demi langkah dengan format spesifikasi, pendekatan dua tingkat, dan contoh dunia nyata.
Anda menerbitkan dokumen API dalam HTML. Pengembang membacanya, menyalin perintah curl, dan mengintegrasikan API Anda. Alur kerja itu masih berfungsi. Namun semakin banyak "pembaca" Anda yang merupakan LLM, dan mereka memproses Anda Dokumen HTML dikenakan biaya: halaman dokumentasi tipikal membakar 12.000 token sebelum model mengekstrak a URL titik akhir tunggal. Tag HTML, navigasi chrome, dan JavaScript yang dikirimkan situs Anda tidak menambah nilai apa pun untuk LLM.
llms.txt memecahkan ini. Ini adalah file Markdown biasa di root domain Anda yang menjelaskan
apa yang dilakukan API Anda, mencantumkan titik akhir Anda, dan menautkan ke dokumen terperinci. LLM menguraikannya 6x lebih sedikit
token daripada HTML yang setara. Lebih dari 849 situs telah mengadopsinya, termasuk Anthropic, Cloudflare,
Stripe, dan Mintlify.
Apa itu llms.txt (dan apa yang bukan)
Itu llms.txt spesifikasi, diusulkan oleh Jeremy Howard, mendefinisikan file standar di
/llms.txt di situs web mana pun. Ini menggunakan judul penurunan harga, blockquote, dan daftar tautan ke
mendeskripsikan produk ke model bahasa.
Pikirkan seperti ini: robots.txt memberi tahu perayap penelusuran halaman mana yang akan diindeks.
llms.txt memberi tahu model bahasa tentang fungsi produk Anda dan di mana menemukan detailnya.
# robots.txt - tells crawlers what to index
User-agent: *
Allow: /
# llms.txt - tells LLMs what your product does
# Served at /llms.txt as structured Markdown
llms.txt bukan pengganti situs dokumentasi Anda. Ini adalah indeks ringkas,
diformat untuk konsumsi mesin. Manusia juga bisa membacanya, tapi audiens utamanya adalah LLM mana pun
yang perlu memahami API Anda sebelum membuat kode atau menjawab pertanyaan tentangnya.
Format spesifikasi
Formatnya disengaja untuk setiap baris. Berikut strukturnya:
# Product Name
> One-line product description with key capabilities.
## Section Name
- [Link Title](https://example.com/page): Brief description
- [Another Link](https://example.com/other): Brief description
## Optional: Additional sections
More structured content as needed.
- Judul H1: Nama produk atau proyek Anda. Satu per file.
- kutipan blok: Deskripsi satu baris tentang fungsi produk.
- Bagian H2: Kelompokkan tautan Anda berdasarkan kategori (Dokumentasi, Titik Akhir, Alat).
- Daftar tautan: Setiap baris memiliki tautan penurunan harga diikuti dengan titik dua dan deskripsi.
Tidak ada HTML. Tidak ada masalah depan. Tidak ada sintaks khusus. Pengurai Markdown mana pun dapat membacanya, dan LLM mana pun bisa mengekstrak informasi terstruktur darinya tanpa alat khusus.
Mengapa token penting: Penurunan harga vs. HTML
Setiap LLM memiliki jendela konteks. Token dihabiskan untuk diurai <div class="nav-wrapper">
Dan <script src="analytics.js"> adalah tanda yang tidak dapat dipahami oleh model
skema API Anda. Berikut perhitungannya:
HTML documentation page: ~12,000 tokens
Same content as Markdown: ~2,000 tokens
Savings: ~83% fewer tokens
Halaman dokumentasi HTML membawa bilah navigasi, footer, sidebar, tag meta, dan tertanam skrip. Hapus semua itu dan konversikan ke Markdown, dan Anda mendapatkan informasi yang sama kira-kira seperenam token. Untuk LLM yang beroperasi mendekati batas konteksnya, itulah perbedaannya menentukan apakah referensi API lengkap Anda cocok dalam satu perintah.
Pendekatan dua tingkat: llms.txt + llms-full.txt
Spesifikasi mendefinisikan dua file dengan peran berbeda:
-
llms.txtadalah ringkasannya. Nama produk, deskripsi satu baris, dan daftar tautan dengan deskripsi singkat. Ukuran target: di bawah 10KB. Sebuah LLM membacakan ini untuk memahami apa yang ditawarkan API Anda dan memutuskan tautan mana yang harus diikuti untuk mengetahui detailnya. -
llms-full.txtadalah referensi lengkapnya. Itu menyematkan konten tautan itu mengarah ke satu file. Skema permintaan, contoh respons, otentikasi arus, kode kesalahan. Ukuran target: di bawah 100KB. LLM membaca ini ketika perlu dibuat kode yang berfungsi terhadap API Anda.
Mulailah dengan llms.txt. Menambahkan llms-full.txt setelah Anda ingin LLM dihasilkan
kode integrasi tanpa mengikuti tautan eksternal.
Langkah demi langkah: tulis llms.txt Anda sendiri
1. Mulailah dengan identitas produk
Buka dengan H1 yang berisi nama produk Anda, diikuti dengan blockquote yang menjelaskan produk Anda dalam satu kalimat. Bersikaplah spesifik. Sertakan jumlah titik akhir, kemampuan utama, dan pembeda apa pun.
# Acme API
> REST API for payment processing. 12 endpoints covering charges, refunds, subscriptions, and webhooks.
## Documentation
- [API Reference](https://docs.acme.com/api): Full endpoint reference with request/response schemas
- [Authentication](https://docs.acme.com/auth): API key setup, OAuth 2.0 flows, and webhook signing
- [Quickstart](https://docs.acme.com/quickstart): Send your first charge in 5 minutes
## Endpoints
- Create charge: POST https://api.acme.com/v1/charges
- Get charge: GET https://api.acme.com/v1/charges/:id
- Create refund: POST https://api.acme.com/v1/refunds
- List subscriptions: GET https://api.acme.com/v1/subscriptions
- Create webhook: POST https://api.acme.com/v1/webhooks
File itu membutuhkan kurang dari 800 token untuk diurai. LLM sekarang mengetahui Acme API menangani pembayaran, memiliki 12 titik akhir, dan dapat mengikuti tiga tautan untuk informasi lebih dalam.
2. Cantumkan titik akhir Anda dengan metode dan URL
Untuk produk API, cantumkan setiap titik akhir dengan metode HTTP dan URL lengkapnya. Ini yang paling berharga
bagian untuk pembuatan kode. LLM yang tahu POST https://api.acme.com/v1/charges
dapat menghasilkan perintah curl atau panggilan SDK yang berfungsi tanpa membaca dokumen lengkap Anda.
3. Tautan ke spesifikasi yang dapat dibaca mesin
Jika Anda memublikasikan spesifikasi OpenAPI, tautkan ke dalam llms.txt. LLM dapat mengurai OpenAPI JSON
dan mengekstrak skema parameter, bidang wajib, dan jenis respons. Sama untuk manifes alat MCP atau
Titik akhir introspeksi GraphQL.
4. Bangun llms-full.txt untuk konteks yang mendalam
Ambil setiap titik akhir dari ringkasan Anda dan perluas dengan contoh permintaan/tanggapan:
# Botoi API - Full Documentation
> Complete endpoint reference for all 150+ developer utility endpoints.
## IP Geolocation
POST https://api.botoi.com/v1/ip/lookup
Returns city, region, country, ISP, coordinates, and timezone for any IP address.
**Request:**
\`\`\`json
{ "ip": "8.8.8.8" }
\`\`\`
**Response:**
\`\`\`json
{
"success": true,
"data": {
"ip": "8.8.8.8",
"city": "Mountain View",
"region": "California",
"country": "US",
"isp": "Google LLC",
"lat": 37.386,
"lon": -122.0838
}
}
\`\`\`
## Email Validation
POST https://api.botoi.com/v1/email/validate
...full documentation for every endpoint
Sertakan muatan yang realistis, bukan data placeholder. Kode integrasi penghasil LLM perlu dilihat nama bidang yang tepat, jenis, dan sarang yang dikembalikan API Anda.
5. Sajikan dengan header yang tepat
Sajikan kedua file dengan text/markdown atau text/plain Tipe Konten. Jika kamu
gunakan Nginx:
# Serve llms.txt with correct Content-Type
location = /llms.txt {
default_type text/markdown;
add_header X-Robots-Tag "noindex";
}
location = /llms-full.txt {
default_type text/markdown;
add_header X-Robots-Tag "noindex";
}
Di Cloudflare Pages, Vercel, atau Netlify, letakkan file di public/ direktori.
Platform hosting melayani mereka dengan tipe MIME yang benar dari ekstensi file.
Contoh nyata: llms.txt botoi
Botoi melakukan servis llms.txt pada botoi.com/llms.txt
Dan llms-full.txt pada botoi.com/llms-full.txt.
Berikut tampilan ringkas dari file ringkasan:
# Botoi - Developer Utility API & MCP Server
> One API key, 150+ developer utility endpoints, and a 49-tool
> MCP server for AI agents. IP geolocation, email validation,
> DNS, hashing, JWT, QR codes, PDF generation, and more.
> Sub-50ms from Cloudflare's edge. Free tier included.
## Free Online Tools
- [JSON Formatter](https://botoi.com/tools/json-formatter): Format, beautify, minify, and validate JSON data
- [Base64 Encoder/Decoder](https://botoi.com/tools/base64-encoder-decoder): Encode and decode Base64 strings
- [Hash Generator](https://botoi.com/tools/hash-generator): Generate SHA-1, SHA-256, SHA-384, SHA-512 hashes
## Botoi API
- [API Documentation](https://api.botoi.com/docs): Full API reference with interactive playground
- [OpenAPI Spec](https://api.botoi.com/openapi.json): Machine-readable OpenAPI 3.1 specification
- [MCP Tool Manifest](https://api.botoi.com/v1/mcp/tools.json): MCP tool definitions for AI agents
## API Endpoints
- IP geolocation: POST https://api.botoi.com/v1/ip/lookup
- Email validation: POST https://api.botoi.com/v1/email/validate
- DNS lookup: POST https://api.botoi.com/v1/dns/lookup
- Hash generation: POST https://api.botoi.com/v1/hash
...150+ more endpoints listed with method and URL
File lengkap mencantumkan setiap alat, 150+ titik akhir API dengan metode dan URL, server MCP konfigurasi untuk lima editor AI, dan perintah pemasangan TypeScript SDK. Sebuah LLM membaca ini file dapat menjawab "Bagaimana cara memvalidasi email dengan botoi?" tanpa mengunjungi satu halaman web pun.
Ambil sendiri:
curl -s https://botoi.com/llms.txt | head -20
Pengoptimalan mesin generatif: melampaui SEO tradisional
SEO tradisional mengoptimalkan crawler Google. Pengoptimalan mesin generatif (GEO) mengoptimalkan Model AI yang menyatukan jawaban dari berbagai sumber. Saat pengembang menanyakan ChatGPT "API apa dapatkah saya gunakan untuk validasi email?", model mengambil dari sumber yang telah diurai atau dapat diambil.
llms.txt adalah salah satu bagian dari strategi GEO. Gambaran lengkapnya meliputi:
-
llms.txtDanllms-full.txtuntuk konsumsi LLM langsung. - spesifikasi OpenAPI di URL publik sehingga LLM dapat mengurai skema titik akhir Anda.
-
Penemuan server MCP melalui
/.well-known/mcp/server-card.jsonjadi AI asisten dapat menemukan dan terhubung ke alat Anda. - Data terstruktur (JSON-LD) di halaman Anda untuk ekstraksi yang lebih kaya.
-
robots.txtdikonfigurasi untuk mengizinkan perayap AI (GPTBot, ClaudeBot, KebingunganBot).
Setiap lapisan menargetkan cara berbeda LLM menemukan dan menggunakan API Anda. llms.txt adalah
titik awal dengan upaya terendah dan dampak tertinggi.
Daftar periksa penerapan
1. Create /llms.txt with product name, description, and key links
2. Create /llms-full.txt with full endpoint documentation
3. Add both files to your robots.txt sitemap (optional)
4. Set Content-Type to text/markdown or text/plain
5. Keep llms.txt under 10KB and llms-full.txt under 100KB
6. Update both files whenever you ship new endpoints
7. Test: curl -s https://yourdomain.com/llms.txt | wc -c
Pertahankan milikmu llms.txt dalam kontrol versi bersama kode sumber API Anda. Perbarui
dalam permintaan tarik yang sama tempat Anda menambahkan titik akhir baru. Dokumentasi basi, baik untuk manusia
atau mesin, mengikis kepercayaan.
Poin-poin penting
- LLM membaca dokumen Anda sebelum manusia melakukannya. Agen AI, asisten pengkodean, dan obrolan antarmuka mengurai dokumentasi API untuk menghasilkan kode dan menjawab pertanyaan. Beri mereka format yang bersih.
- Penurunan harga membutuhkan token 6x lebih sedikit dibandingkan HTML. Navigasi strip, skrip, dan gaya. Sajikan konten yang dibutuhkan LLM dalam format yang mereka proses paling efisien.
-
Dua file mencakup kedua kasus penggunaan.
llms.txtadalah indeks ringkasan.llms-full.txtadalah referensi lengkapnya. Mulailah dengan ringkasan; tambahkan versi lengkap bila Anda ingin LLM menghasilkan kode integrasi yang berfungsi. -
849+ situs telah mengadopsi format ini. Antropik, Cloudflare, Stripe, dan Mintlify
semua melayani
llms.txt. Format ini mendapatkan daya tarik sebagai standar GEO. - Lihat aksinya. Mengambil botoi.com/llms.txt untuk melihat 150+ API titik akhir yang dijelaskan dalam satu file Penurunan Harga.
FAQ
- Apa itu llms.txt dan bagaimana cara kerjanya?
- llms.txt adalah file penurunan harga yang disajikan di /llms.txt di domain Anda. Ini menjelaskan produk Anda, titik akhir API, dan tautan dokumentasi dalam format terstruktur yang dapat diurai oleh LLM dengan token minimal. Think of it as robots.txt for AI: robots.txt tells crawlers what to index, llms.txt tells language models what your site offers.
- Berapa banyak token yang disimpan llms.txt dibandingkan dengan dokumen HTML?
- Penurunan harga menggunakan token sekitar 6x lebih sedikit dibandingkan konten HTML yang setara. Halaman dokumentasi yang berharga 12.000 token dalam HTML dapat dikompres menjadi kurang dari 2.000 token dalam Markdown. Hal ini penting karena LLM memiliki jendela konteks yang terbatas, dan setiap token yang dihabiskan untuk pemformatan adalah token yang tidak digunakan untuk memahami API Anda.
- Apakah saya memerlukan llms.txt dan llms-full.txt?
- llms.txt adalah ringkasan: nama produk, deskripsi, dan daftar tautan. llms-full.txt berisi konten dokumentasi lengkap yang ditunjuk oleh tautan, tertanam dalam satu file. Mulailah dengan llms.txt. Tambahkan llms-full.txt bila Anda ingin LLM memiliki konteks yang mendalam tanpa mengikuti banyak tautan.
- Alat AI manakah yang membaca llms.txt hari ini?
- Claude, ChatGPT, Perplexity, dan Cursor semuanya membaca llms.txt saat menjelajahi atau mereferensikan dokumentasi. Agen berbasis MCP dan asisten pengkodean juga mengambilnya untuk penemuan alat. Lebih dari 849 situs telah mengadopsi format ini pada awal tahun 2026, termasuk Anthropic, Cloudflare, Mintlify, dan Stripe.
- Di mana saya harus menghosting file llms.txt?
- Sajikan di root domain Anda: https://domainanda.com/llms.txt. Gunakan text/markdown atau text/plain sebagai Tipe Konten. Jika Anda memiliki subdomain API, pertimbangkan untuk menyajikannya di domain utama dan subdomain API. Simpan file di bawah 10KB untuk versi ringkasan.
Mulai membangun dengan botoi
150+ endpoint API untuk pencarian, pemrosesan teks, pembuatan gambar, dan utilitas developer. Paket gratis, tanpa kartu kredit.