인터넷이 유지되는 이유는 다양한 웹사이트들이 존재하기 때문입니다. 기술이 아무리 발전해도 정보(콘텐츠)가 없다면 사용할 이유가 없기 때문이죠. 많은 검색 엔진에서는 다양한 정보를 사용자에게 보여줌으로써 유지될 수 있습니다. 검색 포털에서 제공하는 자사의 블로그가 아니라면 개인 혹은 기업이 운영하는 웹사이트인데요. 전 세계에서 워드프레스 CMS를 이용해 사이트를 운영하기도 합니다. 워드프레스의 장점은 간편하고, 확장성이 좋다는 점이 있습니다. 디자인은 테마를 이용할 수 있으며, 여러 기능은 플러그인을 통해 활용할 수 있습니다.
이런 사이트들의 정보를 검색엔진에서는 봇(bot)을 이용해 가져가게 됩니다. 데이터를 수집하는 개인 혹은 기업에서도 봇을 이용하게 됩니다. 많은 사람들이 사이트의 정보를 가져가길 원하지만 일부 공유할 수 없는 경우도 있습니다. 만약, 규칙이 없다면 봇에 의해 무분별하게 콘텐츠가 공유될 수 있을 것입니다. 여기에 규칙을 알려주는 것이 바로 robots.txt 파일의 내용입니다.
- 일반적으로 도메인명/robots.txt 에서 확인할 수 있습니다.
- 본 사이트의 경우 : https://misonio.com/robots.txt 에서 확인할 수 있습니다.
워드프레스에서 robots.txt 파일을 등록하는 방법은 크게 2가지로 구분할 수 있습니다. 운영자 및 관리자가 서버에 직접 파일을 업로드하는 것입니다. 개인이 적절하게 규칙을 설정한 파일을 올리면 됩니다. 두번째 방법은 워드프레스 플러그인을 이용하는 방법이 있습니다. 플러그인으로 rankmath, virtual robots등이 있습니다. 사용법은 간단합니다.
① rankmath에서 robots.txt 파일 설정하는 방법
rankmath 플러그인의 일반 설정에서 Robots.txt 편집 기능을 이용해 설정할 수 있습니다.
② virtual robots에서 robots.txt 파일 설정하는 방법
워드프레스 관리자 화면에서 virtual robots 플러그인을 실행합니다. 첫 화면에 바로 robots.txt 파일을 편집할 수 있는 영역이 존재하기 때문에 손쉽게 원하는 설정을 할 수 있습니다.
그런데, 이런 경우가 있습니다. 도메인명/robots.txt 경로로 확인을 하니 파일을 찾을 수 없는 것이죠. 이런 경우, 워드프레스라면 메인 화면으로 연결되게 됩니다. url이 엉뚱하다면 not fount 메시지 페이지 혹은 메인 페이지로 이어지게 됩니다. 플러그인을 잘 설정했는데도 불구하고 이런 증상이 나타난다면 당황스러울 수 밖에 없습니다. 개인적으로 해결한 방법을 전합니다.
- 플러그인 재설치
- 고유주소 변경
위 2가지의 점검을 통해 인식하지 못했던 robots.txt 파일을 잘 찾아지게 되었습니다. 개인적으로 가장 의심이 되는 부분은 워드프레스 고유주소 였습니다. 기본 설정으로 되어 있는 고유주소를 숫자로 변경한 후, 거짓말처럼 robots.txt 파일을 인식할 수 있었기 때문이죠. 워드프레스 고유주소를 변경하는 방법은 다음과 같습니다.
- 관리자 화면 > 설정 > 고유주소
위 사진과 같이 고유주소를 post_id로 변경했습니다. 기존에는 ?p=123과 같은 형태를 띄고 있었습니다. 아마도, url 맵핑에서 충돌이 있었지 않을까 추측합니다. 만약, 워드프레스 robots.txt 파일을 읽지 못한다면 자신의 워드프레스 고유주소를 점검해보는 것도 도움이 될 수 있을 것 같습니다. 단, 고유주소를 변경하는 것은 SEO에 부정적인 영향을 끼칠 가능성이 있다고 합니다. 그러니, 초반에 잘 설정하는 것이 좋습니다.