크롤로 : 호스팅 서버에 연결할 수 없음

구글 애드센스 너무 어려운 것 같아요. 저는 컴퓨터 전공도 아니고 HTML문서를 보면 정말 머리부터 아파오거든요. 여러 블로그 유튜브를 통해서 티스토리를 시작하고 또 애드센스 광고까지 할 수 있게 되었는데 잘하고 있는 건지 걱정이 많습니다.

오늘은 몇일전 갑자기 발생되 부분 <크롤로 : 호스팅 서버에 연결할 수 없음>을 해결하려고 여기저기 알아보고 공부한 내용을 정리해 보려고 합니다.

 

크롤러 : 호스팅 서버에 연결할 수 없음 문제

 

단어도 어렵고 어떻게 문제를 해결해야 하지도 모르겠고.... ㅠㅠ 정말 머리부터 띵해 옵니다.

 

공고 크룰러에 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.

 

매일 적은 금액이지만 공고 수익 보는 재미로 포스팅을 작성하는 사람이라 이 문구가 너무 신경 쓰입니다.

 

그리서 어떻게든 해결하고 싶어서 여기저기 검색하고 영어 해석하고 혼자 낑낑거리면서 또 다음에 문제가 생기면 포스티을 보자는 마음으로 정리해 봅니다.

 

저와 같은 문제로 고민이신 분이 계시거나 아니면 혹시 제가 잘 못된 방법으로 문제 해결을 하고 있다면 답글로 답변 주시면 너무 감사하겠습니다.

 

이번 문제는 이렇게 해결을 봤는데.... 찜찜합니다 ㅠㅠ

 

"크롤러" 

구글 봇을 말하는데 검색로봇이 검색할 페이지를 찾는 것을 의미합니다.

 

구글 애드센스 팀이 말하는 크롤러 오류 이슈 문제 해결 방법

액세스 문제, 사이트 문제, 서버 문제 3가지로 나눠서 말하고 있습니다.

​

1. 액세스 문제 

1) 로그인이 필요한 페이지에 광고가 뜨는 경우 크롤러 오류 발생 가능성 >>> 크롤러 로그인 설정 필요

 

2) 액세스 지역이나 IP범위 제한을 둘 경우 크롤로 이슈 발생 >>> 제한 해제 필요

 

3) robots.txt 파일에서 광고 크롤로 차단 >>> robots.txt에서 광고 크롤러 허용 필요

 

위 3가지 이슈 모두 티스토리에서 제한할 수 없거나 접근할 수 없는 부분이라 문제가 있다고 해도 해결할 수 없는 문제입니다. 아마 문제가 발생되면 티스토리 전체적으로 발생할 것으로 예상됩니다.

 

2. 사이트 문제

1) 사이트를 찾을 수 없는 문제 >>> 크롤러가 사이트 콘텐츠에 접근할 수 없을 때 발생, 또는 페이가 없어진 경우

 

2) 새로운 콘텐츠에서 발생 >>> 시간을 두고 기다리면 해결된다고 합니다.

 

대부분은 이 경우일 가능성이 높다고 생각합니다.

 

크롤링이 되지 않은 사이트에 광고가 나오는 경우가 있고 이렇게 되면 크롤러 오류 메세기가 나온다고 합니다.

 

♣ 해결 방법

서치콘솔에서 URL을 등록하고 색인요청을 합니다.

 

1) 서치콘솔에 접속

 

2) URL 검사를 통해 URL이 등록되었는지 확인

 

3) 색인 생성 요청

 

이 과정을 거치면 크롤러가 크롤링을 다시 하고 캐시를 공유할 가능성이 있다고 합니다.

 

♣ 서치콘솔로 확이 하기

 

구글 서치 콘솔에서 연결이 해제되어 엑서스 할 수 없는 경도 있기 때문에 서치콘솔에서 소유권 확인을 통해서 본인의 블로그를 다시 연결해주어야 합니다.

 

개별 글에 대해서 발생하는 크롤로 오류도 있지만, 페이지 전체적으로 발생하는 경우도 있다고 합니다.

 

3) 여러 리디렉션을 사용하는 이슈 >>> 일반적인 티스토리 블로그의 경우 발생되지 않는 이슈입니다.

 

4) 개인화된 페이지 URL 사용 >>> 로그인 사용자 정보나 기타 정보를 포함한 주로 등을 말하는데 티스토리와는 상관이 없는 이슈입니다.

 

5) POST 데이터를 사용하는 경우 >>> 일반적인 티스토리 블로그의 경우 발생되지 않는 이슈입니다.

 

3. 호스팅 문제

1) 사이트의 네임서버에 문제가 있는 경우

 

2) 사이트 서버에 문제가 있는 경우

 

두 경우 모두 티스토리에 문제가 있을 수 있는 경우로 사용자가 할 수 있는 부분은 없고 전체적으로 또는 다수에게서 발생될 가능성이 있기에 회사차원에서 빠르게 수정을 할 것이라고 생각합니다.

 

만약 다량의 포스트에 문제가 장기간 발생되면 티스토리에 문의해 보시는 게 좋겠습니다.

특정 개인에게 발생될 가능성도 있다고 합니다.

티스토리 크롤러 오류 해결 방법

1. 서치콘설 URL을 검색하고 색인 요청을 합니다.

 

2. 크롤러가 찾는데 약간의 시간이 필요하다. 일단 놔둬 본다

 

3. 새 글을 작성해서 다시 서치콘솔에 등록한다.

 

4. 티스토리 혹은 구글에 문의한다.