Cara Membuat Robots.txt yang Benar untuk Website

Robots.txt adalah file teks di root website yang memberi petunjuk kepada crawler tentang URL yang boleh atau tidak boleh diakses. File ini terutama digunakan untuk mengatur crawling dan mengurangi permintaan yang tidak diinginkan ke server.

Robots.txt bukan mekanisme keamanan dan bukan cara yang dapat diandalkan untuk menyembunyikan halaman dari Google Search. URL yang diblokir masih dapat diketahui dari link atau sumber lain. Jika halaman tidak boleh muncul di hasil pencarian, gunakan noindex atau perlindungan login sesuai tujuan.

Lokasi dan format robots.txt

File ini biasanya tersedia di:

https://contoh-domain.com/robots.txt

Robots.txt berlaku berdasarkan host, protokol, port, dan aturan yang ditentukan. File untuk domain utama tidak otomatis mengatur subdomain yang berbeda.

Format dasarnya terdiri dari kelompok aturan. Setiap kelompok diawali User-agent, lalu diikuti Allow atau Disallow.

User-agent: *
Allow: /

Tanda * berarti aturan berlaku untuk semua crawler yang mengikuti standar robots exclusion protocol.

Arti aturan penting

User-agent

User-agent menentukan crawler yang menjadi sasaran aturan. * digunakan untuk kelompok umum, sedangkan nama crawler tertentu dapat ditulis jika memang ada kebutuhan spesifik dan didukung oleh crawler tersebut.

Disallow

Disallow meminta crawler agar tidak mengakses path tertentu.

User-agent: *
Disallow: /admin/

Aturan tersebut meminta semua crawler untuk tidak mengakses URL di bawah /admin/. Pastikan path yang diblokir memang tidak berisi halaman atau aset penting.

Allow

Allow dapat digunakan untuk mengizinkan path tertentu ketika aturan yang lebih luas juga berlaku.

User-agent: *
Disallow: /private/
Allow: /private/public-guide.html

Interpretasi aturan dapat memiliki perbedaan implementasi antar crawler. Gunakan pola sesederhana mungkin dan uji hasilnya.

Sitemap

Alamat sitemap dapat dicantumkan untuk membantu crawler menemukan daftar URL penting.

Sitemap: https://contoh-domain.com/sitemap-index.xml

Sitemap tidak mengubah aturan crawling. Ia hanya memberi lokasi file sitemap dan tidak menjamin URL di dalamnya akan dirayapi atau diindeks.

Contoh robots.txt untuk website blog

Contoh sederhana untuk blog publik:

User-agent: *
Allow: /

Disallow: /*?utm_
Disallow: /*?fbclid
Disallow: /*?gclid

Sitemap: https://contoh-domain.com/sitemap-index.xml

Contoh tersebut tetap mengizinkan halaman utama dan artikel dirayapi, tetapi meminta crawler menghindari beberapa variasi parameter pelacakan. Pola parameter harus disesuaikan dengan sistem website dan tidak boleh dibuat secara membabi buta.

Untuk blog kecil, robots.txt yang pendek sering lebih aman daripada daftar larangan panjang yang sulit diaudit.

Robots.txt dan noindex bukan hal yang sama

Robots.txt mengatur apakah crawler boleh mengambil URL. noindex mengatur agar halaman tidak dimasukkan ke hasil pencarian setelah Google dapat membaca aturan tersebut.

Jika halaman diblokir melalui robots.txt, crawler mungkin tidak dapat melihat tag noindex di halaman. Karena itu, jangan menggabungkan dua mekanisme tersebut tanpa memahami urutannya.

Gunakan robots.txt untuk mengendalikan crawling pada path yang tidak perlu diakses. Gunakan noindex untuk halaman yang dapat diakses tetapi tidak ingin ditampilkan di Search. Gunakan password untuk konten yang benar-benar privat.

Apa yang sebaiknya tidak diblokir?

Jangan memblokir secara tidak sengaja:

Artikel yang ingin masuk Google.
Halaman kategori atau hub yang penting.
CSS dan JavaScript yang dibutuhkan untuk merender isi.
Gambar utama atau aset yang perlu dipahami.
Jalur navigasi menuju halaman penting.
Sitemap itu sendiri.

Pemblokiran aset dapat membuat Google melihat halaman berbeda dari yang dilihat pengguna. Selalu periksa dampak aturan terhadap fungsi dan tampilan halaman.

Cara memeriksa robots.txt

Gunakan langkah berikut:

Buka /robots.txt di domain produksi.
Pastikan server mengembalikan file yang benar dan dapat dibaca.
Periksa apakah sitemap menunjuk ke domain dan path yang benar.
Cari aturan Disallow: / yang memblokir seluruh website.
Cocokkan path yang dilarang dengan halaman yang ingin dipublikasikan.
Gunakan alat pengujian yang tersedia di ekosistem Google atau crawler untuk memeriksa URL penting.
Periksa kembali setelah deploy atau perubahan CMS.

File yang benar di lokal belum tentu benar di produksi. Pastikan domain, HTTPS, redirect, dan cache tidak mengubah hasil yang diterima crawler.

Kesalahan robots.txt yang umum

Memblokir seluruh website

Aturan berikut meminta semua crawler menghindari semua path:

User-agent: *
Disallow: /

Ini dapat digunakan sementara untuk situs yang belum siap, tetapi berbahaya jika tertinggal saat produksi.

Menggunakan robots.txt untuk keamanan

Siapa pun dapat membuka file robots.txt. Path yang tercantum di dalamnya bukan rahasia dan tidak menjadi terlindungi.

Memakai pola terlalu luas

Aturan wildcard yang tidak dipahami dapat memblokir URL yang sebenarnya penting. Mulai dari aturan spesifik dan uji beberapa contoh.

Mengira disallow menghapus URL

Robots.txt tidak menjamin URL hilang dari hasil pencarian. Untuk penghapusan, gunakan metode yang sesuai dengan kondisi halaman.

Sitemap masih menunjuk domain lama

Setelah migrasi domain, perbarui alamat sitemap dan pastikan URL di dalam sitemap juga menggunakan domain kanonik.

Pertanyaan umum

Apakah setiap website wajib memiliki robots.txt?

Tidak selalu wajib. Namun, file ini berguna ketika ingin memberi petunjuk crawling dan mengumumkan lokasi sitemap.

Apakah robots.txt memengaruhi ranking?

Robots.txt dapat memengaruhi apakah crawler dapat mengakses halaman. Jika halaman penting terblokir, mesin pencari bisa kesulitan memahami dan memprosesnya.

Apakah robots.txt dapat memblokir halaman dari pengguna?

Tidak. File ini hanya petunjuk untuk crawler. Gunakan autentikasi atau kontrol akses server untuk membatasi pengguna.

Apakah komentar boleh ditulis di robots.txt?

Komentar biasanya diawali tanda # dan dapat digunakan untuk menjelaskan aturan kepada pengelola website. Pastikan komentar tidak menggantikan aturan yang sebenarnya.

Kesimpulan

Robots.txt membantu mengatur crawling, tetapi bukan alat keamanan dan bukan metode utama untuk menghapus halaman dari Google. Gunakan aturan sesederhana mungkin, jangan memblokir aset penting, dan pastikan sitemap menunjuk ke URL produksi yang benar.

Setelah mengubah robots.txt, selalu uji halaman yang ingin ditampilkan dan halaman yang memang ingin dibatasi. Kesalahan satu baris dapat memengaruhi banyak URL sekaligus.

Robots.txt hanya mengatur akses crawler. Untuk memahami URL utama yang ingin ditampilkan, lanjutkan ke panduan canonical URL.

Lokasi sitemap yang dicantumkan dalam robots.txt juga perlu diuji melalui sitemap XML.