Robots Txt Generator
Robots Txt Generator — berjalan di browser. Input tidak disimpan.
Buat robots.txt
Membuat teks robots.txt untuk dipasang di root situs. Unggah ke server harus Anda lakukan sendiri.
Cara menggunakan
- Masukkan User-agent. Tanda bintang default berarti semua crawler.
- Tulis Jalur Allow dan Jalur Disallow, satu jalur per baris.
- Opsional tambahkan URL Sitemap, dan nyalakan Blok tambahan: User-agent: AdsBot-Google → Disallow: / jika perlu.
- Tekan Buat, tinjau teks robots.txt di bawah, lalu Salin.
- Unggah berkas ke akar situs sendiri—alat ini tidak men-deploy-nya. Reset mengosongkan kolom.
Konsep utama
Pembuat robots.txt merakit berkas teks yang memberi petunjuk jalur ke crawler. Bukan penghalang keamanan; lindungi data pribadi dengan autentikasi. Jika ada baris Disallow dan Allow kosong, crawler sering dibaca diizinkan di mana-mana kecuali jalur yang diblokir. Berkas yang dibuat hanya berlaku setelah diletakkan di akar.
Blok AdsBot tambahan adalah contoh yang menghentikan bot iklan melihat seluruh situs. Jangan memblokir semuanya jika Anda butuh visibilitas pencarian. Baris Sitemap membantu crawler menemukan daftar URL. Alat ini hanya membangun teks; tidak mengunggah ke server.
Contoh
User-agent bintang, Disallow /admin/ dan /private/, plus URL sitemap, menghasilkan berkas dengan tiga aturan itu. Menyalakan opsi AdsBot menambahkan blok kedua. Simpan teks tersalin sebagai berkas akar publik di host Anda. Dengan Disallow saja dan Allow kosong, crawl dibaca diizinkan kecuali jalur yang diblokir. Memblokir jalur admin tanpa login masih mengizinkan akses URL langsung—jangan samakan ini dengan keamanan. Setelah berkas di akar situs, periksa fetch di Search Console. Saat mencoba ulang input yang sama, reset dulu. Di komputer bersama, kosongkan kolom saat selesai. Menutup tab membuang yang ditempel; Anda tidak perlu permintaan hapus server. Nama tombol cocok dengan alat di atas. Jika hasil kosong, periksa kolom wajib dan galat tersembunyi. Halaman ini adalah bantuan penggunaan, bukan klaim bahwa input disimpan di tempat lain.
Terkait: Pembuat sitemap · Pembuat tag meta · Pembuat hreflang
Pertanyaan umum
Apakah pembuat robots.txt mengunggah ke server saya?
Tidak. Ia hanya membangun teks. Anda harus men-deploy-nya di akar sendiri.
Apakah robots.txt fitur keamanan?
Tidak. Hanya petunjuk crawler. Lindungi halaman admin dengan login.
Apa itu blok AdsBot tambahan?
Blok opsional yang menyetel Disallow / untuk AdsBot-Google. Contoh untuk mengurangi crawl bot iklan.
Bisakah Allow dan Disallow dipakai bersama?
Ya. Tulis satu jalur per baris. Jalur yang lebih spesifik sering diutamakan.
Apakah URL Sitemap wajib?
Opsional. Membuat daftar lebih mudah ditemukan. Sitemap XML adalah berkas terpisah.
Apakah berkas yang dibuat langsung dikirim ke mesin pencari?
Tidak. Unggah berkas, lalu periksa di Search Console.
Terakhir ditinjau: 2026-09-04