Apa itu Web Robot dan Robots.txt?

Web Robot (juga dikenal sebagai Web Wanderers, Crawlers, atau Spiders) adalah program yang menjelajahi web secara otomatis. Mesin pencari seperti Google, Bing, dan lainnya menggunakan robot ini untuk mengindeks konten web. Namun, pihak tidak bertanggung jawab (spammer) juga bisa menggunakannya untuk memindai alamat email, di samping berbagai fungsi otomatis lainnya.

Pemilik situs web menggunakan file bernama robots.txt untuk memberikan instruksi kepada robot-robot tersebut tentang bagaimana mereka harus memperlakukan halaman di dalam situs. Protokol ini dikenal dengan istilah The Robots Exclusion Protocol (Protokol Pengecualian Robot).

Cara Kerja Robots.txt

Saat sebuah robot ingin mengunjungi URL tertentu, misalnya: http://example.blogspot.com/p/welcome.html, sebelum bot tersebut mengunduh halaman, hal pertama yang ia lakukan adalah memeriksa keberadaan file http://example.blogspot.com/robots.txt.

Jika bot menemukan kode berikut di dalamnya:

User-agent: *
Disallow: /

• User-agent: * berarti instruksi atau aturan di bagian ini berlaku untuk semua jenis robot tanpa terkecuali (tanda bintang * adalah nilai khusus yang berarti "semua robot").
• Disallow: / memberikan perintah tegas kepada robot bahwa mereka dilarang mengunjungi atau merayap halaman apa pun di dalam situs tersebut.

Pertimbangan Penting Saat Menggunakan Robots.txt

Ada dua hal krusial yang wajib Anda ketahui mengenai sifat dari file ini:

1. Robot bisa mengabaikan aturan Anda. Robot berbahaya (malware bots) yang memindai celah keamanan web atau bot pemanen alamat email milik spammer tidak akan memedulikan instruksi yang Anda tulis di robots.txt.
2. Robots.txt bersifat publik. File ini dapat diakses dan dilihat oleh siapa saja melalui browser. Siapa pun bisa mengetahui folder atau bagian server mana yang sengaja Anda sembunyikan dari robot.

Dokumentasi Historis & Standar

robots.txt merupakan standar de-facto di dunia internet dan tidak dimiliki oleh badan standarisasi resmi mana pun. Dokumen ini bersandar pada dua deskripsi historis utama:

• Dokumen asli tahun 1994: A Standard for Robot Exclusion.
• Spesifikasi Internet Draft tahun 1997: A Method for Web Robots Control.

Cara Membuat File Robots.txt Kustom di Blogger

Blogger menyediakan fitur bawaan untuk mengonfigurasi file ini secara langsung tanpa perlu mengunggah file manual:

1. Masuk ke dasbor blog Blogger Anda.
2. Navigasikan ke menu Setelan (Settings).
3. Cari bagian Pengindeksan dan perayapan (Crawlers and indexing).
4. Klik opsi Aktifkan robots.txt kustom (Enable custom robots.txt) menjadi aktif, lalu klik Robots.txt kustom (Custom robots.txt).
5. Rekatkan (paste) kode instruksi robots.txt Anda ke dalam kolom teks yang tersedia.
6. Klik Simpan (Save). Selesai!

Panduan Menulis Aturan Kode Robots.txt

File robots.txt adalah file teks biasa yang berisi satu atau beberapa rekaman instruksi.

Contoh Aturan Standar Blogger

Berikut adalah contoh struktur perintah yang paling umum digunakan untuk optimasi blog:

User-agent: *
Allow: /search/
Disallow: /search
Disallow: /p/sample.html
Disallow: /search/label/somelabel
Disallow: /2018/10/somepost.html

Pada contoh di atas, ada satu bagian yang diizinkan dan empat bagian yang diblokir:

* Perbedaan /search/ dan /search: Aturan Disallow: /search akan memblokir semua URL yang menggunakan parameter pencarian dinamis (seperti ?q=keyword atau ?updated-max). Sementara itu, aturan Allow: /search/ tetap mengizinkan bot untuk mengakses URL jalur folder seperti halaman label (/search/label/...).

⚠️ Aturan Penulisan Penting: > Anda wajib menuliskan baris Disallow secara terpisah untuk setiap prefiks URL yang ingin Anda kecualikan. Anda tidak boleh menggabungkannya dalam satu baris seperti: Disallow: /search/ /p/sample.html/. Selain itu, jangan berikan baris kosong di dalam satu blok rekaman, karena baris kosong akan dianggap sebagai pembatas antarblok aturan yang berbeda.

Contoh Variasi Aturan Lainnya

Memblokir Seluruh Robot dari Semua Halaman Situs

User-agent: *
Disallow: /

Mengizinkan Semua Robot Mengakses Seluruh Situs

User-agent: *
Disallow: 

(Atau Anda cukup mengosongkan saja kolom isian robots.txt di Blogger).

Memblokir Satu Robot Spesifik (Misal: BadBot)

User-agent: BadBot
Disallow: /

Mengizinkan Hanya Googlebot dan Memblokir Bot Lainnya

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /