Di mana saya harus meletakkan robots.txt?

Di root host, agar tersedia di https://example.com/robots.txt. robots.txt di subfolder diabaikan, dan setiap subdomain butuh file sendiri.

Bagaimana cara memblokir semua crawler?

Gunakan User-agent: * diikuti Disallow: /. Crawler yang mematuhi robots.txt akan berhenti mengambil halaman, meski URL yang sudah dikenal bisa tetap ada di hasil pencarian untuk sementara.

Bagaimana cara memblokir GPTBot dan crawler AI lain?

Tambahkan grup yang mencantumkan user agent mereka — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, dan seterusnya — dengan Disallow: /. Preset Blokir crawler AI menuliskan grup ini untuk Anda dan tetap mengizinkan mesin pencari.

Apakah Disallow menghapus halaman dari Google?

Tidak. Disallow menghentikan perayapan, tetapi URL tetap bisa diindeks dari tautan. Gunakan meta tag noindex pada halaman yang bisa dirayapi, atau hapus lewat Search Console, untuk menjauhkannya dari hasil.

Aturan mana yang menang jika Allow dan Disallow sama-sama cocok?

Yang path-nya lebih panjang. Jika panjangnya sama, Allow menang. Tester menunjukkan baris mana yang menentukan setiap URL.

Apakah robots.txt membedakan huruf besar-kecil?

Nama direktif dan nilai user-agent tidak, tetapi path ya: Disallow: /Admin tidak memblokir /admin. Nama file-nya sendiri harus robots.txt dengan huruf kecil.

Apakah Google mendukung Crawl-delay?

Tidak. Google mengabaikan Crawl-delay dan mengatur laju perayapan dari cara server Anda merespons. Bing dan Yandex mematuhinya.

Apakah robots.txt saya diunggah ke suatu tempat?

Tidak. Penyusunan, parsing, dan pengujian dilakukan di browser Anda.

Generator & Tester robots.txt: Blokir Crawler AI

Tulis aturan robots.txt, lalu cek persis apa yang diblokir

Generator robots.txt ini menyusun file dari grup user agent dan aturan Allow/Disallow, menambahkan sitemap Anda, dan menerapkan pengaturan siap pakai seperti memblokir crawler pelatihan AI atau file WordPress standar dalam satu klik. Tester-nya lalu menjawab pertanyaan yang penting: apakah URL ini diizinkan untuk crawler ini, dan baris mana yang menentukannya? Alat ini mengikuti RFC 9309 dan perilaku yang didokumentasikan Google — grup user-agent yang paling spesifik, path yang cocok paling panjang, Allow menang saat seri, serta wildcard * dan $ — dan menandai kesalahan saat Anda mengetik. Semuanya berjalan di browser Anda.

Cara membuat dan menguji robots.txt

1Mulai dari preset — Izinkan semua, Blokir crawler AI, WordPress, Blokir alat SEO, atau Blokir semua — atau edit grupnya langsung.
2Di setiap grup, tulis user agent yang dituju (* berarti semua crawler) dan tambahkan path Disallow dan Allow seperti /admin/ atau /*.pdf$.
3Tambahkan URL absolut sitemap XML Anda, periksa peringatan di bawah hasilnya, lalu salin atau unduh robots.txt.
4Beralih ke Uji, masukkan nama crawler dan satu URL per baris, lalu lihat hasil tiap URL beserta aturan dan grup yang menentukannya. Tempel robots.txt live apa pun di sana untuk mengauditnya.
5Unggah file ke root host Anda, agar tersedia di https://yourdomain.com/robots.txt.

Cara kerja robots.txt

Sebelum merayapi sebuah situs, crawler yang patuh mengambil /robots.txt dari root host dan mencari aturan yang ditujukan kepadanya. File ini berisi daftar grup: satu atau beberapa baris User-agent diikuti aturan Allow dan Disallow. Baris Sitemap berada di luar grup dan berlaku untuk semua.

Setiap protokol, host, dan port punya robots.txt sendiri: aturan di https://example.com/robots.txt tidak mencakup https://shop.example.com atau http://example.com. File yang tidak ada (404) berarti semuanya boleh dirayapi; error server membuat Google menunda perayapan situs.

Aturan pencocokan secara rinci

Memilih grup: Crawler hanya mematuhi grup yang user-agent-nya paling spesifik menyebut namanya, dicocokkan tanpa membedakan huruf besar-kecil — Googlebot-Image memakai grup Googlebot-Image jika ada, jika tidak grup Googlebot, jika tidak *. Grup yang menyebut agent yang sama digabungkan. Aturan di grup * tidak ditambahkan ke grup yang bernama.
Kecocokan terpanjang menang: Di dalam grup, aturan yang path-nya cocok dengan karakter terbanyak dari path URL yang menentukan. Disallow: /shop dengan Allow: /shop/sale mengizinkan /shop/sale/shoes.
Seri dimenangkan Allow: Jika aturan Allow dan Disallow cocok dengan panjang yang sama, URL diizinkan.
* dan $: * cocok dengan urutan karakter apa pun, dan $ di akhir mengikat pola ke akhir URL: Disallow: /*.pdf$ memblokir /files/report.pdf tetapi tidak /report.pdf?download=1.
Path adalah awalan: Disallow: /admin memblokir /admin, /admin/, dan /administrator. Tambahkan garis miring di akhir untuk memblokir foldernya saja. Aturan dicocokkan dengan path dan query string, dengan membedakan huruf besar-kecil.
Disallow kosong: Disallow: tanpa path mengizinkan semuanya; ini cara lazim menulis grup yang tidak memblokir apa pun.

Memblokir crawler AI

Perusahaan AI memublikasikan token user-agent crawler mereka agar pemilik situs bisa menolak. Preset Blokir crawler AI melarang GPTBot, ChatGPT-User, dan OAI-SearchBot (OpenAI), ClaudeBot, Claude-User, Claude-SearchBot, dan anthropic-ai (Anthropic), Google-Extended (pelatihan Gemini), Applebot-Extended, CCBot (Common Crawl), PerplexityBot, Bytespider (ByteDance), meta-externalagent (Meta), Amazonbot, dan lainnya, sambil tetap membiarkan mesin pencari biasa merayapi.

Google-Extended dan Applebot-Extended adalah token kontrol, bukan crawler terpisah: memblokirnya menjauhkan konten Anda dari pelatihan Gemini dan Apple Intelligence tanpa memengaruhi Google Search atau perayapan pencarian Applebot. Perlu diingat, bot yang terkait pencarian seperti OAI-SearchBot dan Claude-SearchBot menghasilkan kutipan di jawaban pencarian AI; hapus dari daftar jika Anda ingin muncul di sana. Kepatuhan bersifat sukarela, jadi gunakan aturan server atau firewall untuk crawler yang mengabaikan robots.txt.

Yang tidak bisa dilakukan robots.txt

robots.txt mengatur perayapan, bukan pengindeksan. URL yang di-disallow tetap bisa muncul di hasil Google — tanpa deskripsi — jika halaman lain menautkannya. Untuk menjauhkan halaman dari hasil pencarian, izinkan perayapan dan tambahkan meta tag robots noindex atau header X-Robots-Tag; sejak 2019 Google mengabaikan baris Noindex: di robots.txt. Buat tag-nya dengan generator meta tag.

Jangan pakai robots.txt untuk menyembunyikan area pribadi: file ini publik dan justru mencantumkan path yang tidak ingin ditemukan orang. Lindungi area tersebut dengan autentikasi. Dan jangan blokir file CSS dan JavaScript yang dibutuhkan halaman untuk tampil, atau Google tidak bisa melihat halaman seperti yang dilihat pengunjung.

Crawl-delay, Host, dan direktif lain

Crawl-delay meminta crawler menunggu sejumlah detik di antara permintaan. Bing dan Yandex mematuhinya; Google mengabaikannya dan menyesuaikan laju perayapan secara otomatis dari respons server Anda. Host dulu adalah direktif khusus Yandex untuk mirror pilihan dan kini sudah usang. Google hanya membaca paling banyak 500 KiB dari file robots.txt.

Arahkan crawler ke sitemap XML Anda dengan satu atau beberapa baris Sitemap: berisi URL absolut; baris ini boleh berada di mana saja dalam file. Buat sitemap-nya dengan generator sitemap.

Pertanyaan yang sering diajukan

Di mana saya harus meletakkan robots.txt?: Di root host, agar tersedia di https://example.com/robots.txt. robots.txt di subfolder diabaikan, dan setiap subdomain butuh file sendiri.
Bagaimana cara memblokir semua crawler?: Gunakan User-agent: * diikuti Disallow: /. Crawler yang mematuhi robots.txt akan berhenti mengambil halaman, meski URL yang sudah dikenal bisa tetap ada di hasil pencarian untuk sementara.
Bagaimana cara memblokir GPTBot dan crawler AI lain?: Tambahkan grup yang mencantumkan user agent mereka — GPTBot, ClaudeBot, CCBot, Google-Extended, PerplexityBot, dan seterusnya — dengan Disallow: /. Preset Blokir crawler AI menuliskan grup ini untuk Anda dan tetap mengizinkan mesin pencari.
Apakah Disallow menghapus halaman dari Google?: Tidak. Disallow menghentikan perayapan, tetapi URL tetap bisa diindeks dari tautan. Gunakan meta tag noindex pada halaman yang bisa dirayapi, atau hapus lewat Search Console, untuk menjauhkannya dari hasil.
Aturan mana yang menang jika Allow dan Disallow sama-sama cocok?: Yang path-nya lebih panjang. Jika panjangnya sama, Allow menang. Tester menunjukkan baris mana yang menentukan setiap URL.
Apakah robots.txt membedakan huruf besar-kecil?: Nama direktif dan nilai user-agent tidak, tetapi path ya: Disallow: /Admin tidak memblokir /admin. Nama file-nya sendiri harus robots.txt dengan huruf kecil.
Apakah Google mendukung Crawl-delay?: Tidak. Google mengabaikan Crawl-delay dan mengatur laju perayapan dari cara server Anda merespons. Bing dan Yandex mematuhinya.
Apakah robots.txt saya diunggah ke suatu tempat?: Tidak. Penyusunan, parsing, dan pengujian dilakukan di browser Anda.