워드프레스에서 robots.txt 파일을 별도로 생성하지 않으면 기본 robots.txt 파일이 표시됩니다. 가입형 워드프레스(워드프레스닷컴)의 개인 요금제와 프리미엄 요금제에서는 robots.txt 파일에 접근할 수 없었지만, 최근 개인/프리미엄 플랜에서도 플러그인 설치가 가능하도록 정책이 바뀌면서 이제 SEO 플러그인이나 가상 robots.txt 파일 플러그인을 사용하여 robots.txt 파일을 편집할 수 있습니다.
가입형 워드프레스 (워드프레스닷컴) robots.txt 파일 편집하기
워드프레스닷컴(WordPress.com)의 개인/프리미엄 요금에서도 플러그인 설치가 가능하도록 정책이 변경되었습니다.
워드프레스에서는 robots.txt 파일을 자체적으로 제공하므로 보통 기본 robots.txt 파일을 그대로 이용하면 되지만, robots.txt 파일을 편집해야 하는 경우가 있을 수 있습니다.
그런 경우 이제 SEO 플러그인이나 Virtual Robots.txt 플러그인을 사용할 수 있습니다.
저는 이 블로그에 Rank Math SEO 플러그인을 설치했기 때문에 Rank Math에서 제공하는 Robots.txt 파일 편집 기능을 사용해 로봇 파일을 편집했습니다.
(Rank Math가 무료 버전에서 Yoast SEO 프리미엄의 일부 기능을 제공하므로 기능적인 면에서 괜찮은 것 같습니다. SEO 플러그인으로는 Yoast SEO나 Rank Math 중에서 마음에 드는 것을 선택하시면 되며, 어느 것을 선택해도 관계 없습니다.)
Rank Math SEO를 사용하는 경우 Rank Math SEO » 일반 설정 » Robots.txt 편집에서 로봇 파일을 수정할 수 있습니다.
워드프레스 사이트의 robots.txt 파일에는 보통 다음과 같은 내용이 포함되면 무난합니다.
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Sitemap: https://your-site.com/sitemap.xml사이트맵 주소는 적절히 변경합니다. Rank Math와 Yoast SEO의 사이트맵 주소는 /sitemap_index.xml입니다. 저는 젯팩의 사이트맵 기능을 사용하고 있는데, 이 경우 사이트맵 주소는 /sitemap.xml입니다.
참고로 다음 웹마스터도구에 사이트를 등록하려는 경우 robots.txt 파일에 PIN 코드(다음 웹마스터도구 인증 코드)를 추가해야 합니다.
다음 웹마스터도구는 몇 년째 베타(Beta) 단계인 것 같네요. robots.txt 파일 하단에 위의 그림과 같이 제시된 PIN 코드를 추가하여 인증할 수 있습니다.
다음 웹마스터도구에 처음르로 로그인하면 수집 정보나 색인 정보, 검색 정보에 대한 통계가 모두 0으로 표시됩니다.
수집요청 탭에서 사이트맵과 피드 URL을 제출할 수 있습니다.
가입형 워드워드프레스가 다음 검색엔진에 잘 노출될지는 확신할 수 없지만, robots.txt 파일에 PIN 코드를 넣어 인증만 하면 되므로 저는 다음 웹마스터도구에 사이트를 등록했습니다.
가입형 워드프레스의 개인 요금제에서 Rank Math 플러그인을 사용하여 Robots.txt 파일을 편집하는 것이 가능하므로 원하는 대로 Robots.txt 파일을 (원하는 경우) 수정할 수 있습니다.
저는 다음과 같은 코드를 추가하여 모든 AI봇의 접근을 가능하도록 허용했습니다.😄 (참고로 Perplexity 등 일부 봇들은 robots.txt의 지시를 무시하고 콘텐츠를 색인해갈 수 있습니다.)
# GPT 및 AI 크롤러 허용
User-agent: GPTBot
Allow: /
User-agent: CCBot
Allow: /
User-agent: AnthropicBot
Allow: /
User-agent: Google-Extended
Allow: /브라우저에서 사이트주소/robots.txt에 접속하여 robots.txt 파일의 변경 사항이 제대로 적용되는지 확인할 수 있습니다.
마치며
robots.txt 파일은 크롤러의 접근 범위를 규정해 서버 부하를 줄이고, 중요하지 않은 경로나 중복 페이지의 크롤링을 제한해 크롤링 예산을 효율화하며, 반대로 필요한 경로는 허용해 수집을 유도하고, Sitemap 지시어로 사이트맵 위치를 알리는 등 크롤링 흐름을 조정하는 중요한 기능을 합니다.
보통은 기본 robots.txt 파일을 그대로 두면 되지만, 가입형 워드프레스에서 로봇 파일을 수정해야 한다면 Rank Math, Yoast SEO 등 SEO 플러그인이나 Virtual Robots.txt 플러그인을 활용할 수 있습니다.
가입형 워드프레스가 개인/프리미엄 요금제에서도 플러그인을 설치를 허용함에 따라 개인 요금제에서도 애드센스 광고를 표시할 수 있는 등 제약이 많이 완화되었습니다.