Dokumen ini terbuka bagi setiap pembaca pada setiap paket. Ketersediaan memberi tahu isi sebuah paket; ketersediaan tidak menentukan apa yang boleh Anda baca.
ID
Untuk apa ini
Berkas robots.txt adalah rangkaian instruksi, bukan kunci. Berkas itu memberi tahu perayap jalur mana yang boleh diminta; berkas itu tidak menghentikan siapa pun untuk memintanya. Instrumen ini mengambil aturan yang situs Anda sajikan saat ini, menerapkannya pada satu alamat untuk satu perayap bernama, lalu melaporkan keputusan yang dihasilkan aturan tersebut beserta baris persis yang menghasilkannya. Gunakan sebelum Anda menerbitkan sebuah aturan, dan sesudahnya: pertanyaan "apakah saya baru saja memblokir halaman produk saya sendiri" memiliki jawaban yang dapat diperiksa.
ID
Cara menggunakannya
Pilih proyek yang berkas robots.txt-nya ingin Anda uji. Instrumen ini membaca berkas yang sedang disajikan situs Anda pada saat itu, bukan salinan yang Anda tempelkan.
Pilih perayap yang akan disimulasikan. Googlebot dan agen umum berperilaku berbeda begitu berkas Anda menyebut salah satunya secara khusus.
Masukkan jalur yang Anda pertanyakan. URL lengkap maupun jalur keduanya dapat digunakan; hanya jalurnya yang dibandingkan.
Baca putusannya, lalu baca baris di bawahnya. Baris itulah bagian yang layak dicatat.
ID
Membaca hasilnya
Putusannya berupa Izinkan atau Tolak untuk satu agen tersebut terhadap satu jalur tersebut, dan menyebut direktif yang cocok serta lapisan asalnya. Apabila dua aturan berpotensi berlaku, aturan yang lebih spesifik ditampilkan sebagai penentu, bukan diserahkan kepada Anda untuk menyimpulkannya. Putusan Tolak pada jalur yang Anda maksudkan untuk diterbitkan adalah temuan; putusan Tolak pada jalur administrasi adalah aturan yang bekerja.
ID
Yang tidak dapat disimpulkan
Yang dibuktikan adalah isi aturan Anda. Yang tidak dapat dibuktikan adalah perilaku perayap, sebab sebuah direktif bersifat permintaan: dipatuhi oleh mesin pencari utama, diabaikan oleh pihak yang memilih mengabaikannya. Selain itu, jalur yang dikecualikan di sini tetap dapat muncul pada hasil pencarian apabila situs lain menautkannya, karena dikecualikan dari perayapan tidak sama dengan dikecualikan dari pengindeksan. Apabila sebuah halaman harus tetap di luar indeks, aturan robots adalah instrumen yang salah untuk pekerjaan itu.
ID
Apa yang disimpan
Tidak ada. Alamat yang Anda uji dan putusan yang Anda terima hanya berada pada sesi peramban ini dan dihapus ketika Anda keluar. Tidak ada baris yang ditulis ke basis data.
