이 게시글을 보고 계시는 분들이라면 네이버 웹마스터도구 등록을 마치고 robots.txt 관련 오류를 발견하여 수정을 원하시는 분들이겠죠?
제가 사용하고 있는 스킨의 경우 네이버 웹마스터 도구에서 'robots.txt 가 존재하지 않습니다.' 라는 오류가 발견되었어요. 스킨에 robot.txt 관련 태그가 없으면 발생하는 오류로 확인되었고 어떻게 수정할 수 있을지 알아봅시다.
▲ 티스토리 블로그 스킨에 robots.txt 없으면 위와 같이 'robots.txt 가 존재하지 않습니다.' 라는 경고가 뜹니다. 저와 같은 오류를 겪고 계신 분들은 이 게시글을 통해 해결할 수 있을거라 생각합니다.
네이버 웹마스터 도구 - robots.txt 오류 수정
▲ 먼저 robots.txt 오류는 내 블로그에 네이버 로봇 혹은 구글, 빙 검색 로봇에 대한 안내가 없다는 것입니다. 검색 로봇들에게 내 블로그에 대한 안내를 만드는 것이 위와 같은 작업입니다.
- '모든 검색로봇'으로 설정합니다. 구글, 빙에 티스토리 블로그 노출을 원하지 않으면, 네이버 검색로봇만 선택하시면 됩니다.
- '모두 방문, 수집하도록 허용합니다.' 부분에 체크해주세요.
- 다운로드 버튼 클릭
▲ 티스토리 블로그 관리 메뉴에서 스킨편집으로 들어갑니다. 스킨 편집창에서 [파일업로드] 창에서 [추가] 버튼을 클릭하여 위에서 간단 생성한 robots.txt 파일을 첨부합니다.
▲ 다음으로 robots.txt 관련 태그를 입력해줘야 하는데요. 티스토리에 새로 생긴 플러그인을 이용하려고 합니다.
- 티스토리 블로그 관리 메뉴에서 플러그인 클릭
- '메타 태그 등록' 플러그인 실행
▲ 메타 태그 등록 플러그인에서 위와 같이 설정해주세요. 이름 부분은 기억하기 쉽도록 등록해주세요. 넣어야 할 코드는 아래와 같습니다.
<meta name = "Robots" content="index,follow">
<meta name = "Yeti" content="index,follow">
robots.txt 태그 중 Yeti는 네이버검색 로봇의 이름입니다. 이렇게 내 블로그에 robot.txt를 입력하는 작업은 끝났습니다.
네이버 웹마스터 도구 - robot.txt 적용 확인
▲ 네이버 웹마스터 도구 좌측 메뉴 중 [검증] > [robots.txt]로 들어갑니다. 여기서 로봇룰 검증에 위치한 수집 요청을 클릭하면 위와 같이 내 블로그에 적용된 robots.txt 명령어들을 확인할 수 있습니다.
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30
▲ 위와 같은 코드가 입력되어 있을 텐데요. 간단하게 해석해보자면,
Disallow는 특정 페이지 수집을 하지 말라는 robots.txt 입니다.
Allow는 특정 페이지 수집을 허용 한다는 robot.txt 이구요.
/owner, /manage, /search, /like, /admin 등등은 티스토리 접속시 블로그 운영자가 관리하는 페이지로 웹 사이트에 검색 등록이 되면 안되겠죠? 물론 검색이 되도 로그인이 필요한 부분이고요.
티스토리 블로그의 경우 게시글을 작성하게 되면 블로그주소.com/1 , 블로그주소.com/2
위와 같은 방식으로 / 뒤에 숫자가 변하면서 페이지를 늘려나갑니다. 그렇기 때문에 / 뒤에 오는 것은 모두 수집해라 라고 검색 로봇에게 알려주는 것 입니다.
네이버 검색 로봇 robots.txt 작동 확인
네이버 웹마스터 도구 [검증] > [robots.txt]에서 네이버의 검색 로봇 Yeti가 제대로 작동하는지 확인하는 방법입니다.
- 로봇룰 검증 페이지에서 하단에 티스토리 블로그 게시글 페이지의 url을 입력해보세요.
- 첫번째 게시글의 URL의 경우 수집이 가능합니다.
▲ URL 중 admin에는 접근할 수 없습니다. admin 페이지는 운영자인 저만 볼 수 있는 공간입니다.
▲ 네이버 웹마스터 도구 [검증] > [웹 페이지 최적화]에서 또한 robots.txt 및 로봇 메타 태그가 제대로 작동하고 있는지 확인할 수 있습니다.
댓글