도메인 추출

핵심 개념

도메인 추출은 본문에서 ASCII 호스트명만 골라내는 작업입니다. http://나 https://, 앞의 www.는 참고만 하고 호스트 문자열을 소문자로 남깁니다. 서브도메인(blog.example.com)은 유지하고 www만 제거합니다. 경로·쿼리·포트·IPv4는 도메인 목록에 넣지 않습니다. 추출 수와 고유 도메인은 이 버전에서 같은 값입니다.

정규식이 영문·숫자 라벨 위주라 한글 국제화 도메인(IDN)은 잘 안 잡힐 수 있습니다. 그때는 퓨니코드 변환으로 xn--를 만든 뒤 다시 추출하세요. 이메일 @ 뒤를 전용으로 모으지는 않으니 주소 수확은 이메일 추출기를 쓰세요. 입력은 브라우저에만 남고 DNS 조회는 하지 않습니다. 경쟁사 URL 목록이나 접속 로그에서 호스트만 모아 인벤토리를 만들 때 중복 없는 도메인 목록이 바로 나옵니다.

예시

https://www.Example.com/a와 blog.example.com, www.example.com을 넣으면 example.com과 blog.example.com 두 줄이 됩니다. 대문자와 www는 정규화되고, 같은 호스트가 여러 번 나와도 한 줄입니다. 192.168.0.1은 호스트 패턴에 맞지 않아 빠지는 것이 정상입니다. 추출 결과를 목록 정렬에 붙여 가나다로 정리하면 보고서용 도메인 리스트가 됩니다. www가 붙은 주소와 안 붙은 주소는 같은 호스트로 합쳐져 한 줄만 남습니다.