robots.txt 생성기
User-agent Allow/Disallow 규칙과 Sitemap URL로 robots.txt 텍스트를 만듭니다.
robots.txt 생성
사이트 루트에 배포할 robots.txt 텍스트를 만듭니다. 서버에 업로드는 직접 해야 합니다.
사용 방법
- User-agent를 넣습니다. 기본값은 별표로 모든 크롤러입니다.
- Allow 경로와 Disallow 경로를 한 줄에 하나씩 적습니다.
- 선택으로 Sitemap URL을 넣고, 필요하면 추가 블록: User-agent: AdsBot-Google → Disallow: /을 켭니다.
- 생성을 눌러 아래 robots.txt 텍스트를 확인한 뒤 복사합니다.
- 사이트 루트에 직접 올리고, 이 도구는 업로드를 대신하지 않습니다. 초기화로 칸을 비웁니다.
핵심 개념
robots.txt 생성기는 크롤러에게 경로 힌트를 주는 텍스트를 조립합니다. 보안 장벽이 아니며 비공개 데이터는 인증으로 막아야 합니다. Disallow만 있고 Allow가 비어 있으면 막힌 경로 외 크롤을 허용하는 식으로 읽히는 경우가 많습니다. 생성 파일은 루트에 배포해야 효력이 있습니다.
AdsBot 추가 블록은 광고 봇이 전 경로를 보지 못하게 막는 예시입니다. 검색 노출이 필요하면 함부로 전체를 막지 마세요. Sitemap 줄은 크롤러가 목록을 찾도록 돕습니다. 텍스트만 만들 뿐 서버에 올리지 않습니다.
예시
User-agent 별표, Disallow에 /admin/과 /private/, Sitemap에 사이트맵 주소를 넣고 생성하면 세 규칙이 있는 파일이 나옵니다. AdsBot 옵션을 켜면 두 번째 블록이 붙습니다. 복사한 내용을 호스팅의 공개 루트 파일로 저장하세요. Disallow만 있고 Allow가 비어 있으면 막힌 경로 외에는 크롤을 허용하는 식으로 읽힙니다. 관리자 경로를 막아도 인증이 없으면 직접 URL 접근은 되므로 보안과 혼동하지 마세요. 생성 텍스트를 사이트 루트에 올린 뒤 Search Console에서 가져오기를 확인하세요. 같은 입력을 여러 번 시험할 때는 초기화 후 새로 붙여 이전 출력과 섞이지 않게 합니다. 공용 컴퓨터라면 작업이 끝난 뒤 입력란을 비워 원문이 모니터에 남지 않게 하세요. 브라우저 탭을 닫으면 방금 붙인 값도 함께 사라지며 서버에 삭제 요청을 보낼 필요는 없습니다. 버튼 이름과 칸 제목은 화면 위쪽 도구와 같으므로 글을 읽으며 그대로 따라가면 됩니다. 결과가 비어 있으면 필수 칸을 채웠는지, 오류 메시지가 숨겨져 있지 않은지 먼저 봅니다. 이 글은 사용법 안내이며 입력 데이터가 외부 저장소에 남는다는 뜻은 아닙니다.
자주 묻는 질문
robots.txt 생성기가 서버에 올려 주나요?
아니요. 텍스트만 만듭니다. 루트 배포는 직접 해야 합니다.
robots.txt는 보안 기능인가요?
아닙니다. 크롤러 힌트일 뿐입니다. 관리자 페이지는 로그인으로 막으세요.
AdsBot 추가 블록은 무엇인가요?
AdsBot-Google에 Disallow / 를 붙이는 선택 블록입니다. 광고 봇 크롤을 줄이려는 예시입니다.
Allow와 Disallow를 동시에 써도 되나요?
됩니다. 한 줄에 경로 하나씩 적습니다. 구체적인 경로가 우선되는 경우가 많습니다.
Sitemap URL은 필수인가요?
선택입니다. 있으면 찾기 쉽습니다. XML 사이트맵은 별도 파일입니다.
생성 내용이 검색엔진에 바로 제출되나요?
제출되지 않습니다. 파일을 올린 뒤 Search Console에서 확인하세요. 관련: 사이트맵 생성 · 메타 태그 생성 · hreflang 생성
최종 검토일: 2026년 9월 4일