크롤러 : robots.txt 파일에 연결할 수 없음

컴퓨터 언어 너무 어려워요 ㅠㅠ

왜 나에게 이런 경고 문구나 생긴 걸까요? ㅠㅠ

크롤러 : robots.txt 파일에 연결할 수 없음

애드센스에서 robots.txt에서 검색로봇을 차단했다거나 색인이 되지 않았다는 등의 경고를 받았을 때 뭘 어떻게 해야 할지 겁부터 납니다.

​

 

내 블로그의 robots.txt를 확인할 수 있는 URL은 아래와 같습니다.

 

 

서치콘솔에서 robots.txt 테스트를 이용해 robots.txt 테스트 하기

https://support.google.com/webmasters/answer/6062598?hl=ko 

robots.txt 테스터를 이용해 robots.txt 테스트하기 - Search Console 고객센터

 

위 서치콘솔에서 robots.txt를 테스트해 보았습니다.

 

실제로 제가 선택한 URL에 적용되고 있는 robots.txt 내용입니다.

경고 1개가 나오는데 어떻게 해야 할지 모르겠습니다 ㅠㅠ

 

만약 하위 페이지의 검색 로봇 오류를 검증하고 싶다면 하단에 URL을 복사하여 테스트 할 수 있습니다.

실제로 해봤는데 이후 해결 방법은 아무리 찾아도 알수가 없습니다. ㅠㅠ

구글 검색센터 에서 robors.txt 사양을 해석하는 방법입니다.

 

https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=ko 

Google의 robots.txt 사양 해석 방법 | Google 검색 센터  |  문서  |  Google Developers

 

봐도 모르겠습니다 ㅠㅠ

 

다음날 오류부분이 사라졌습니다. ㅎㅎㅎ