robots.txt는 검색엔진이 어떤 페이지를 크롤링할 수 있는지 알려주는 안내서입니다. 파일이 없어도 검색엔진은 사이트를 크롤링하지만, 민감한 정보나 불필요한 페이지까지 수집될 수 있습니다. 검색 최적화와 정보 보호를 위해 반드시 설정해두세요.
robots.txt란 무엇인가?
robots.txt는 검색엔진 로봇(크롤러)에게 사이트 내 어떤 경로를 수집할지 말지 지시하는 텍스트 파일입니다.- 보통 도메인 루트에 위치함. 예) https://example.co.kr/robots.txt
- 내가 원하는 페이지만 크롤링하게 가능함.
없어도 크롤링은 되지만, 왜 필요할까?
- 없어도 검색엔진은 페이지를 수집합니다.
- 제어 권한이 없어, 검색에 노출되면 안 되는 경로까지 수집될 수 있습니다.
- 중복 콘텐츠나 테스트 페이지 노출로 SEO 품질 저하 가능성도 있음
- 따라서, robots.txt는 선택이 아닌 필수입니다
robots.txt 만드는 방법 알아보기
직접 robots.txt 파일을 만들어 보며, 기본 문법과 함께 설명을 덧붙여 작성하는 방법을 안내해 드리겠습니다. 메모장이나 VS Code 같은 텍스트 편집기를 사용하시면 됩니다.
기본 문법
User-agent: *
Allow: /- User-agent : 검색엔진을 정의 할 수 있습니다. *는 모든 검색엔진을 뜻함.
- Allow : 지정한 경로는 크롤링 허용한다는 뜻. ‘/’는 전체 경로를 뜻함.
크롤링 비허용 추가한 문법
User-agent: *
Disallow: /admin/
Disallow: /file/
Allow: /- Disallow : 해당 경로는 크롤링을 허용하지 않는 다는 뜻.
- /admin/ 관리자 폴더를 의미합니다.
- /file/ 파일 폴더를 의미합니다.
- 크롤링이 안되게 할 폴더를 하나씩 지정해 두시면 됩니다.
- 크롤링 허용을 막는 이유
- 중요한 중보. 즉 관리자 페이지 또는 개인정보가 있는 경우
- 개발하는 페이지는 완성된 페이지가 아니여서 크롤링시 SEO 품질 저하 이유
- 검색과 관련이 없는 페이지는 막음
사이트맵(sitemap.xml) 연결하기
User-agent: *
Disallow: /admin/
Disallow: /file/
Allow: /
Sitemap: https://example.co.kr/sitemap.xml- Sitemap : 사이트맵(sitemap.xml)의 전체 URL을 등록함
- 다음 검색엔진은 별도 sitemap.xml 제출이 없습니다. robots.txt에 정의해 주시면 됩니다.
robots.txt 작성법과 주의 사항
- 메모장 및 VS Code와 같은 편집 툴로 작성하시면 됩니다.
- robots.txt 파일은 꼭 UTF-8로 저장하세요
- 작성 후 URL로 접근해서 확인하세요.
- 예) https://example.co.kr/robots.txt
- 수집(크롤링) 허용, 비허용 경로를 꼭 확인하세요
- 작성한 파일은 FTP 프로그램 통해 내 사이트 루트 경로에 업로드 하시면 됩니다.
마무리
검색엔진이 내 사이트를 더 잘 이해하도록 돕는 robots.txt 작성 방법을 알아보았습니다.
이제 robots.txt 설정이 완료됐다면, 구글, 네이버, 다음, 빙 등 주요 검색엔진에 사이트를 등록하는 단계만 남았습니다.
검색엔진별 등록 방법은 아래 관련 포스팅에 정리해 두었으니, 필요한 내용을 참고하셔서 사이트가 더 빠르게 노출될 수 있도록 등록을 마무리해 보세요.
관련 포스팅들
- 👉 구글 서치 콘솔 사이트 등록 방법｜사전 준비 사항도 알아보기
- 👉 네이버 서치어드바이저 등록 방법｜사이트, sitemap.xml, rss.xml 등록
- 👉 빙 웹마스터도구 등록 방법｜사이트와 사이트맵 등록 가이드
- 👉 사이트맵 제출 방법｜구글 서치 콘솔에서 사이트맵 제출하는 법
- 👉 다음 사이트 등록 방법은 준비중입니다. 잠시만 기다려주세요.
“이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.”