Robots Txt Generator
Robots Txt Generator — berjalan dalam pelayar. Input tidak disimpan.
Jana robots.txt
Membina teks robots.txt untuk diletak di punca tapak. Muat naik ke pelayan perlu anda buat sendiri.
Cara guna
- Masukkan User-agent. Tanda bintang default berarti semua crawler.
- Tulis Jalur Allow dan Jalur Disallow, satu jalur per baris.
- Opsional tambahkan URL Sitemap, dan nyalakan Blok tambahan: User-agent: AdsBot-Google → Disallow: / jika perlu.
- Tekan Buat, tinjau teks robots.txt di bawah, lalu Salin.
- Muat naik fail ke akar situs sendiri—alat ini tidak men-deploy-nya. Reset mengosongkan kolom.
Konsep utama
Pembuat robots.txt merakit fail teks yang memberi petunjuk jalur ke crawler. Bukan penghalang keamanan; lindungi data pribadi dengan autentikasi. Jika ada baris Disallow dan Allow kosong, crawler sering dibaca diizinkan di mana-mana kecuali jalur yang diblokir. Fail yang dibuat hanya berlaku setelah diletakkan di akar.
Blok AdsBot tambahan adalah contoh yang menghentikan bot iklan melihat seluruh situs. Jangan memblokir semuanya jika Anda butuh visibilitas pencarian. Baris Sitemap membantu crawler menemukan daftar URL. Alat ini hanya membangun teks; tidak memuat naik ke server.
Contoh
User-agent bintang, Disallow /admin/ dan /private/, plus URL sitemap, menghasilkan fail dengan tiga aturan itu. Menyalakan opsi AdsBot menambahkan blok kedua. Simpan teks tersalin sebagai fail akar publik di host Anda. Dengan Disallow saja dan Allow kosong, crawl dibaca diizinkan kecuali jalur yang diblokir. Memblokir jalur admin tanpa login masih mengizinkan akses URL langsung—jangan samakan ini dengan keamanan. Setelah fail di akar situs, periksa fetch di Search Console. Saat mencoba ulang input yang sama, reset dulu. Di komputer bersama, kosongkan kolom saat selesai. Menutup tab membuang yang ditempel; Anda tidak perlu permintaan hapus server. Nama butang cocok dengan alat di atas. Jika hasil kosong, periksa kolom wajib dan ralat tersembunyi. Halaman ini adalah bantuan penggunaan, bukan klaim bahwa input disimpan di tempat lain.
Berkaitan: Pembuat sitemap · Pembuat tag meta · Pembuat hreflang
Soalan lazim
Apakah pembuat robots.txt memuat naik ke server saya?
Tidak. Ia hanya membangun teks. Anda harus men-deploy-nya di akar sendiri.
Apakah robots.txt fitur keamanan?
Tidak. Hanya petunjuk crawler. Lindungi halaman admin dengan login.
Apa itu blok AdsBot tambahan?
Blok opsional yang menyetel Disallow / untuk AdsBot-Google. Contoh untuk mengurangi crawl bot iklan.
Bisakah Allow dan Disallow diguna bersama?
Ya. Tulis satu jalur per baris. Jalur yang lebih spesifik sering diutamakan.
Apakah URL Sitemap wajib?
Opsional. Membuat daftar lebih mudah ditemukan. Sitemap XML adalah fail terpisah.
Apakah fail yang dibuat langsung dikirim ke mesin pencari?
Tidak. Muat naik fail, lalu periksa di Search Console.
Disemak terakhir: 2026-09-04