네이버 웹마스터 도구에서 "robots.txt가 존재하지 않습니다."라는 오류 문구가 나타나는 경우가 있습니다. 티스토리 robots.txt 오류 수정을 어떻게 해야 하는지와 잘못된 정보에 대해 리뷰를 하려고 합니다.
사실 네이버 웹마스터 도구에서 티스토리 robots.txt 수정, 설정, 등록 같은 말은 적절한 표현은 아닙니다. 정확하게는 수집 요청이고 티스토리 robots.txt는 우리가 직접 등록하거나 수정할 수 있는 파일은 아닙니다.
티스토리 robots.txt는 자동으로 생성 된다
robots.txt 파일은 티스토리 블로그가 생성됨과 동시에 자동으로 루트 디렉터리에 생성됩니다.
티스토리는 자신의 블로그라도 루트 디렉터리에 접근할 수 없는 구조이기 때문에 티스토리 측에서 임의로 생성해서 제공하고 있습니다. 우리가 개별적으로 이 파일을 생성하거나 등록, 수정할 수 있는 것이 절대 아닙니다.
그리고, 네이버 웹마스터 도구에 자신의 블로그를 등록하게 되면 robots.txt 파일은 네이버에서 자동으로 수집해 갑니다.
결론적으로 robots.txt 파일은 티스토리 자체적으로 생성되고 그 파일을 네이버가 알아서 수집해 간다입니다. "robots.txt가 존재하지 않습니다."라는 알림이 없는 블로그라면 전혀 신경 쓰지 않아도 되는 부분입니다.
네이버 웹마스터 도구 robots.txt 오류
웹마스터 도구에서 "robots.txt가 존재하지 않습니다"라는 알림이 표시되는 블로그는 일단 각자 블로그에 robots.txt 페이지가 존재하는지 부터 확인해야 합니다. 각자의 블로그 주소 끝에 robots.txt 을 입력하고 접속합니다.
예) https://블로그주소.tistory.com/robots.txt
아래와 같이 코드가 보이면 정상적으로 루트 디렉터리에 페이지가 생성되어 있는 것입니다.
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30robots.txt 페이지가 존재하지 않는 경우
접속 시 "존재하지 않는 페이지입니다."라는 문구가 보이면 티스토리 측에서 해결해야 하는 문제 이기 때문에 고객센터에 문의해야 합니다.
robots.txt 페이지는 있지만, 웹 마스터 도구에서 오류
분명히 robots.txt 페이지가 확인이 됐는데도 불구하고 네이버** 웹마스터 도구에서 "robots.txt가 존재하지 않습니다"라는 알림이 보인다면 우선 **웹 마스터 도구에서 수집 요청을 합니다.
웹마스터 도구 왼쪽 메뉴 검증 < robots.txt를 선택합니다. 그리고 오른쪽을 수집요청 버튼을 클릭해 수집요청을 합니다.
그래도 계속 알림 표시가 나타나면 네이버 고객센터에 문의 하셔서 해결해야 합니다.
위에서 언급한 내용 이외에는 우리가 직접 할 수 있는 방법은 없습니다.
잘못된 정보
아래 내용은 잘못된 정보에 대한 리뷰입니다.
첫 번째 문제점 robots.txt 업로드
네이버 웹마스터 도구 중 robots.txt 간단 생성을 이용해 robots.txt를 만들라고 합니다.
만들어진 파일을 티스토리 스킨 편집에서 업로드하라고 합니다.
네이버 설명을 보면 robots.txt 파일은 항상 사이트의 루트 디렉터리에 위치해야 한다고 명시되어 있습니다.
예) "https://자신의 블로그주소.tistory.com/robots.txt" 이처럼 자신의 블로그 주소 다음에 robots.txt 파일이 있어야 하는 것입니다.
그런데, 설명대로 티스토리 편집에서 파일을 업로드 하면 아래처럼 엉뚱한 주소가 생성됩니다. (각자 업로드한 파일 마우스 오른쪽 클릭 후 링크 주소 확인)
https://tistory2.daumcdn.net/tistory/122222/skin/images/robots.txt
루트 디렉터리에 있지도 않거니와 내 블로그 주소도 아닌 전혀 다른 주소에 내가 올린 파일 주소가 생성되어 있습니다.
네이버 로봇롤 검증으로 가 봅시다. 자신의 블로그 주소/robots.txt가 보이시죠. 저 주소는 내가 설정하는 것이 아니라 네이버에서 정해놓은 것입니다. 네이버뿐만 아니라 모든 검색 사이트는 그렇습니다. 규정 같은 거라고 생각하면 편할 것 같습니다.
이미 잘 생성된 robots.txt 파일 두고 왜 새로 만들라고 하는 걸 까요? 그것도 엉뚱한 곳에 업로드시키고 또 새로 만든 파일은 그냥 두고 원래 있던 파일 주소를 이용하게 하는 걸 까요? 궁금합니다.
두 번째 문제점 메타태그 등록
아래와 같은 로봇 메타태그를 플러그인 또는 html 헤드 부분에 넣으라고 합니다.
<meta name="robots" content="index,follow">
<meta name = "Yeti" content="index,follow">robots.txt가 존재하지 않는다는 오류가 발생했는데 뜬금없이 아무 문제 없는 로봇 메타 태그를 등록하라고 합니다.
잘못된 해결 방법 때문에 시간 낭비하고 고생하는 것을 방지하고자 몇 자 적어 봤습니다.
