Robots Txt Generator
Robots Txt Generator — chạy trên trình duyệt. Không lưu dữ liệu.
Tạo robots.txt
Tạo nội dung robots.txt để đặt ở gốc site. Bạn phải tự tải lên máy chủ.
Cách sử dụng
- Nhập User-agent. Dấu sao mặc định nghĩa mọi crawler.
- Viết Đường dẫn Allow và Đường dẫn Disallow, mỗi đường một dòng.
- Có thể thêm URL Sitemap, và bật Khối thêm: User-agent: AdsBot-Google → Disallow: / nếu cần.
- Nhấn Tạo, xem văn bản robots.txt bên dưới, rồi Sao chép.
- Tự tải tệp lên gốc site — công cụ này không triển khai hộ. Đặt lại xóa các ô.
Khái niệm chính
Trình tạo robots.txt ghép tệp chữ gợi ý đường dẫn cho crawler. Không phải hàng rào bảo mật; hãy bảo vệ dữ liệu riêng bằng xác thực. Nếu có dòng Disallow và Allow trống, crawler thường được hiểu là được phép mọi nơi trừ đường bị chặn. Tệp tạo ra chỉ có hiệu lực khi được đặt ở gốc.
Khối AdsBot thêm là ví dụ chặn bot quảng cáo xem cả site. Đừng chặn hết nếu cần hiện diện tìm kiếm. Dòng Sitemap giúp crawler tìm danh sách URL. Công cụ chỉ dựng chữ; không tải lên máy chủ.
Ví dụ
User-agent dấu sao, Disallow /admin/ và /private/, cộng URL sitemap, tạo tệp với ba quy tắc đó. Bật tùy chọn AdsBot thì thêm khối thứ hai. Lưu chữ đã sao chép thành tệp gốc công khai trên host. Chỉ Disallow và Allow trống thì crawl được hiểu là được phép trừ đường bị chặn. Chặn đường admin mà không có đăng nhập vẫn cho truy cập URL trực tiếp — đừng nhầm với bảo mật. Sau khi đặt tệp ở gốc site, kiểm tra fetch trong Search Console. Khi thử lại cùng đầu vào, đặt lại trước. Trên máy dùng chung, xóa ô khi xong. Đóng thẻ sẽ mất nội dung dán; không cần yêu cầu xóa máy chủ. Tên nút khớp công cụ phía trên. Nếu kết quả trống, kiểm tra ô bắt buộc và lỗi bị ẩn. Trang này là trợ giúp dùng, không phải khẳng định đầu vào được lưu nơi khác.
Liên quan: Trình tạo sitemap · Trình tạo thẻ meta · Trình tạo hreflang
Câu hỏi thường gặp
Trình tạo robots.txt có tải lên máy chủ của tôi không?
Không. Chỉ dựng chữ. Bạn phải tự triển khai ở gốc.
robots.txt có phải tính năng bảo mật không?
Không. Chỉ là gợi ý cho crawler. Bảo vệ trang admin bằng đăng nhập.
Khối AdsBot thêm là gì?
Khối tùy chọn đặt Disallow / cho AdsBot-Google. Là ví dụ để giảm crawl bot quảng cáo.
Có dùng Allow và Disallow cùng lúc không?
Có. Viết mỗi đường một dòng. Đường cụ thể hơn thường được ưu tiên.
URL Sitemap có bắt buộc không?
Tùy chọn. Giúp danh sách dễ tìm hơn. Sitemap XML là tệp riêng.
Tệp tạo ra có được gửi ngay cho công cụ tìm kiếm không?
Không. Tải tệp lên rồi kiểm tra trong Search Console.
Cập nhật lần cuối: 2026-09-04