Robots.txt Generator dan Tester

Cara crawler membaca robots.txt

Robots.txt isinya kumpulan grup. Tiap grup diawali satu atau beberapa baris User-agent, lalu diikuti aturan Allow dan Disallow. Crawler hanya memilih satu grup, yaitu grup yang nama user agent-nya paling spesifik cocok dengan namanya. Kalau tidak ada grup yang menyebut namanya, barulah dia ikut grup User-agent: *.

Bagian ini yang paling sering salah. Kalau kamu menulis grup User-agent: Googlebot dengan satu aturan, Googlebot akan mengabaikan semua aturan di bawah *, termasuk blokir /wp-admin/ kamu. Aturan tidak dijumlahkan antar nama. Aturan baru digabung kalau nama yang sama muncul di dua grup.

Nama perintah dan nama user agent tidak membedakan huruf besar dan kecil. Path-nya membedakan: /Admin/ dan /admin/ itu dua aturan yang berbeda.

Aturan mana yang menang kalau ada beberapa yang cocok

Google tidak memakai aturan cocok yang pertama, tapi yang paling spesifik, diukur dari panjang path aturannya. Kalau Allow dan Disallow sama panjang, Allow yang menang. Ada 2 karakter khusus: * cocok dengan karakter apa saja, dan $ di akhir berarti URL harus berakhir di situ.

Baris terakhir sering bikin kaget. Disallow: /blog juga memblokir /blog-tips/. Tulis /blog/ kalau yang kamu maksud foldernya. Di mode Tes, semua aturan yang cocok ditampilkan dari yang terpanjang, jadi kamu bisa lihat kenapa satu aturan menang.

Blokir bot AI tanpa hilang dari pencarian AI

Perusahaan AI sekarang memisahkan crawler untuk pelatihan model dan crawler untuk pencarian. Kalau kamu memblokir crawler pelatihan, halamanmu tidak dipakai untuk melatih model berikutnya. Kalau yang diblokir crawler pencarian, website kamu hilang dari jawaban dan link di produk itu. Untuk bisnis, biasanya yang kedua ini justru rugi.

Memblokir Google-Extended tidak mengubah cara Googlebot merayapi atau meranking website kamu, dan tidak mengeluarkan kamu dari AI Overviews. Preset "Blokir bot pelatihan AI" hanya memblokir crawler pelatihan dan membiarkan crawler pencarian di Default. Ingat, robots.txt itu permintaan, bukan tembok. Perusahaan yang serius mematuhinya. Bot yang tidak patuh harus diblokir di server atau firewall.

Arti "Diblokir oleh robots.txt" dan "Halaman diindeks meskipun diblokir oleh file robots.txt"

Dua status ini muncul di laporan Pengindeksan halaman di Search Console, dan artinya berbeda.

Diblokir oleh robots.txt (Blocked by robots.txt) adalah alasan halaman tidak diindeks. Googlebot menemukan URL-nya, robots.txt melarang merayapi, jadi halaman tidak masuk index. Kalau halaman itu seharusnya ranking, cari aturannya pakai mode Tes, hapus atau persempit aturannya, lalu klik Minta Pengindeksan (Request Indexing) di Inspeksi URL. Kalau URL itu memang tidak untuk publik, status ini aman dan tidak perlu diapa-apakan.

Halaman diindeks meskipun diblokir oleh file robots.txt (Indexed, though blocked by robots.txt) artinya Google mengindeks URL tanpa merayapinya, biasanya karena ada halaman lain yang menautkannya. URL bisa muncul di hasil pencarian tanpa deskripsi. Kesalahan yang sering saya temui: orang menambahkan noindex tapi blokir robots.txt-nya dibiarkan. Google tidak bisa merayapi halamannya, jadi noindex itu tidak pernah terbaca. Urutan yang benar: izinkan crawling, pasang noindex, tunggu Google merayapi ulang, baru blokir lagi kalau masih perlu.

Yang tidak bisa dilakukan robots.txt

• Tidak menghapus halaman dari Google. Robots.txt mengatur crawling, bukan indexing. Pakai noindex atau tool Penghapusan (Removals) di Search Console untuk itu.
• Baris Noindex: di robots.txt tidak berfungsi. Google berhenti mendukungnya sejak 1 September 2019.
• Crawl-delay diabaikan Google. Googlebot menyesuaikan kecepatan crawling dengan respons server kamu.
• Tidak melindungi apa pun. File ini publik, jadi menulis /admin-rahasia/ justru memberi tahu semua orang lokasinya. Website staging sebaiknya dikunci password, bukan cuma Disallow: /.

Kalau robots.txt tidak ada atau error

Robots.txt harus ada di root tiap host, terpisah untuk tiap protokol dan subdomain. https://www.contoh.com/robots.txt tidak berlaku untuk https://toko.contoh.com. Google menyimpan cache file ini sampai 24 jam, jadi perubahan bisa butuh sehari untuk berlaku.