애드센스 광고 크롤러 오류와 문제 해결 방법

 

 

가끔 애드센스 사이트에 들어가서 수익을 확인해봅니다.

어차피 개미눈물인 걸 알지만 그래도 궁금한 귀여운 수익입니다.

 

그런데 오늘은 사이트에 들어가자 마자 상단 알림바가 눈에 들어오네요?

"광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."

네에? 손실이라니요? 주식손실만으로도 이미 눈물이 가득 차올라있는걸요. 🥲

 

그래서 도움말과 검색을 통해 크롤러 오류를 해결해보기로 합니다.

 

 

크롤러란?

크롤러(로봇 혹은 스파이더라고도 불림)는 일반적으로 조직적, 자동화된 방식으로 웹사이트를 탐색하는 소프트웨어를 말하며
웹페이지에서 다른 페이지로 연결해주는 링크를 따라 웹사이트를 자동으로 검색하는데에 사용됩니다.
크롤러가 하는 작업을 크롤링(crawling), 웹 크롤링(web crawling) 혹은 스파이더링(Spidering)이라 부르는 거구요.
자동으로 웹 페이지 콘텐츠를 확인하고 인덱스하는 역할을 합니다. (애드센스 크롤러와 구글 크롤러는 조금 다릅니다.)

즉, 애드센스 크롤러(광고 크롤러)는 사이트와 연관성있는 광고를 게시하기 위해 해당 사이트를 방문하여 콘텐츠를 확인합니다.
보통 주 1회 업데이트 되며 색인은 URL을 기준으로 합니다. 

 

 

🎙️ 크롤러 오류란?

검색을 위해 운용되는 크롤러를 '봇'이라고도 하는데요. 네이버봇, 구글봇 등으로 부를 수 있죠.

크롤러 오류란 결국 정보 수집을 위한 크롤러가 해당 페이지의 데이터 수집을 하는데 오류가 발생했다는 것을 의미합니다. 

색인에 실패했다는거죠. 

 

그 중에서도 애드센스 크롤러 오류란,

블로그에 게재된 광고를 방문자에게 노출해야 하는데 크롤러가 패당 페이지를 인식하지 못하여 광고를 게시하지 못한다는 겁니다.

결국, "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라는 말은 광고 크롤러 오류가 있는 페이지에서는 광고가 게재되지 않아 수익이 발생하지 않는다는 뜻입니다.  그럼 페이지가 제대로 노출되고 색인되었는지 확인해봐야겠죠.

 

 

 

 

우선 오류 문제를 해결하기 위해 어떤 것이 문제인지 찾아보기로 합니다.

상단 알림바 우측의 "작업"을 클릭하면 아래와 같이 오류 작업 화면이 표시됩니다.

 

이 때,  해결해야하는 문제 항목에 카운팅 된 숫자가 없다면 사이트 자체에는 문제가 없는 겁니다.

만약  해결해야 하는 문제 에 해당하는 문제가 있다면, 애드센스 정책 위반일 가능성이 크기 때문에 해결이 꼭 필요합니다.

 

 

 

사이트 전체에는 문제가 없고, '문제 발생 위치'에 보니  1개의 페이지에 문제가 있는 듯 합니다.

자세히 보기를 통해 해당 페이지를 확인합니다.

확인한 문제 유형

크롤러 : 호스팅 서버에 연결할 수 없음

애드센스 크롤러 오류가 정책 위반 문제는 아니라고 표시되네요. 크롤러 작동방식을 알아보라고 나옵니다. 

해당 페이지는 최근에 올린 컨텐츠네요.

 

새로운 컨텐츠인 경우 예상해보는 문제

제가 예상하는 원인은 위의 사유가 아닐까 합니다.

사이트에 컨텐츠를 새로 게시하면 구글 크롤러가 크롤링하기도 전에 광고 요청이 발생할 수 있는데, 이 때 타이밍이 어긋나서 오류가 생기는 겁니다. 

 

 

 

🎙️ 애드센스 크롤러 오류 해결 방법

 

해결방법 1. 아무런 조치 하지 않기

애드센스 크롤러 오류는 대부분 일시적인 현상이기 때문에 시일을 두고 지켜보면, 구글 크롤러가 콘텐츠를 정상적으로 크롤링하고 난 뒤 자연스럽게 해결됩니다. 

 

문제 자체가 심각하지 않고, 해당 페이지 접속자가 많거나 애드센스 자체 오류이거나 블로그 운영사의 문제일 수도 있거든요. 

대부분은 서버와 연결이 잘 되지 않아 발생하는 것으로 개인의 실수가 아니기 때문이죠.

그러므로 시간이 약이다 생각하고 그냥 두는 겁니다. 

 

그중에서도 블로그 내에 삭제된 페이지나 비공개 글이 있고, 문제 발생 위치가 해당 페이지라면 크롤러가 접근하지 못해 발생한 정상적인 상태로 신경쓰지 않아도됩니다.

 

 

해결방법 2. URL 검사로 색인 생성 요청하기

대부분 시간이 지나 해결되지만, 저처럼 빠른 해결이 하고싶다면 주기적인 크롤러의 방문을 조금 빠르게 요청할 수 있습니다.

 

바로 구글 서치 콘솔에 URL 검사 페이지에서 색인 생성 요청을 하는 겁니다. 

구글 서치 콘솔 > URL 검사 메뉴의 인풋필드에 검사할 페이지의 URL을 입력합니다.

그럼 아래와 같은 결과 화면이 나옵니다.  여기서 크롤링 항목을 확인하세요.

 

 

URL 검사 결과 화면

 

 

왼쪽 : 크롤링 오류 / 오른쪽 : 정상 색인

 

문제가 있었던 페이지는 크롤링이 이루어지지 않아 정보가 표시되지 않고 있는게 보입니다.

해당 URL이 정상적으로 크롤링되어 색인이 이루어진 경우 오른쪽 이미지처럼 정보가 표시되어야합니다.

이럴 땐 '색인 생성 요청' 을 통해 빠르게 색인 생성을 요청할 수 있습니다. 

 

 

 

 

버튼을 클릭하면 위와 같은 알림창이 순차적으로 보여지고 요청이 완료됩니다.

요청 뒤 바로 문제가 해결되는 건 아니고, 시간이 지나 확인해보면 크롤링 항목에 정보가 채워진 걸 확인하실 수 있을겁니다.