애드센스-'크롤러, 호스팅 서버에 연결할 수 없음' 해결 방법

간혹 '구글 애드센스'에 접속하면 광고 크롤러 오류 관련하여 알람이 떠 있는 경우가 있습니다. 티스토리를 오랫동안 하셨다면 크게 신경을 안 쓸 텐데, 저처럼 오래되지 않았다면 약간은 걱정을 하게 됩니다. 이 알람은 어떤 내용인지, 어떻게 해결하면 되는지 알아보도록 하겠다.

 

 

 

크롤링이란?

• 스크레이핑(Scraping)라고도 불린다.
• 인터넷에 있는 방대한 웹 페이지를 가져와서 데이터를 수집하고 분류하고 저장하는 것을 말합니다.
• 크롤러는 스파이더 또는 봇이라고 하며, 웹페이지 콘텐츠를 처리하고 색인하기 위해 구글에서 사용하는 소프트웨어입니다.
• 사이트의 콘텐츠와 관련성이 높은 광고를 하기 위해 '애드센스 크롤러'가 사이트에 방문하여 콘텐츠를 확인합니다.
• 크롤링은 자동으로 실행되며, 크롤러 보고서는 주 1회 업데이트됩니다.
• 애드센스 크롤링 문제를 해결해도 구글 크롤링 문제가 해결되는 것은 아닙니다.

 

 

광고 크롤러 오류 해결방법

구글 애드센스 홈페이지 접속 시 상단에 오류 알림 창 표시됨

오른쪽 [작업] 선택

[광고 크롤러 오류 창]

 

'문제: 크롤러; 호스팅 서버에 연결할 수 없음' 확인

화면 우측 [수정] 선택

[애드센스 광고관련 알림 [작업] 선택시 화면]

 

[수정] 선택 시 발견된 문제에 대한 문제 및 필요한 조치 내용

: 애드센스 크롤러가 사이트에 액세스 할 수 없음, 정책 위반 문제는 아님

 서버가 다운되었거나 응답을 보내기 전에 서버가 연결을 닫는 등의 문제로 서버와 관련된 문제임

[ 수정 선택시 화면]

 

[크롤러 호스팅 서버에 연결할 수 없음 문제 설명 화면]

 

[자세히 알아보기] 선택 시 호스팅 문제 관련 설명 내용

[호스팅 문제 관련 설명 화면]

 

위와 같은 이유로 해당 문제는 서버와 관련된 문제로 특별히 티스토리 작성자가 뭔가 할 수 있는 게 없습니다.

서버와 관련된 문제로 시간이 지나면 자연히 해결된다고 합니다.

다만 최근에 해당 문제의 발생빈도가 좀 높아진 것 같다는 의견이 많이 있습니다.

기다리는 방법 외에 구글 서치 콘솔에서 색인 생성 요청하는 방법과 구글 애드센스에서 크롤러 액세스 방법이 있습니다.

두 가지 방법을 해도, 요청을 해서 없어지는 것인지, 자연히 기다리다 보면 문제가 없어지는지는 알 수가 없습니다.

 

구글 애드센스 크롤러 액세스 방법

구글 애드센스 좌측 메뉴에서 계정> 액세스 및 승인> 크롤러 액세스> 로그인 정보 추가 선택

[구글애드센스 크롤러 액세스 화면]

 

로그인 정보 작성 후 로그인 추가

[크롤러 액세스 로그인 정보 화면]

크롤러 액세스 정보 확인-크롤링이 안 된 것을 확인할 수 있음

크롤링이 되면 '크롤링 안 함'에서 '크롤링'으로 변경됨

[크롤러 로그인 정보 화면]

 

 

마무리

크롤러 액세스 방법을 추가하면서 처음 글 쓸 때보다 4일 정도 흐른 뒤였는데, 알람 메시지가 한 개 줄어들었습니다.

이처럼, 굳이 어떤 요청을 안 해도 시간이 지나면 해결되는 점을 확인할  수 있었습니다.

'크롤러가 호스팅 서버에 연결할 수 없다'고하여 뭔가 크게 오류가 발생할 필요가 없으며 시간이 조금 흐르면 해결될 것입니다. 정책센터의 메시지에서도 '해결해야 할 문제'는 0개로 표현되어있으니 약간은 무시하면 되겠습니다.