크롤링 도구와 검색 엔진이 본 페이지가 다를 때의 확인

서로 다른 관측을 판단하는 기준

구글 서치 콘솔 도움말은 최근 크롤링 항목에 마지막 수집 시간을 현지 시간으로 표시하며, 검사에 나타나는 정보가 그때 수집한 버전에서 나온다고 설명합니다. 마케팅 담당자는 크롤링 도구를 실행한 시간과 이 시간을 먼저 대조합니다. 페이지를 수정한 시점이 두 관측 사이에 있다면, 이전 내용과 현재 내용을 함께 비교하고 있을 가능성을 조사합니다. 최근에 실행한 도구가 정상이라는 이유만으로 과거 수집 당시의 문제까지 해소됐다고 보고하지 않습니다.

표의 항목을 채울 수 없다면 결론을 유보할 부분도 함께 기재합니다. 예를 들어 도구 실행 시간만 있고 구글의 최근 크롤링 시간이 없다면, 현재 자료끼리 비교했다고 표현하지 않습니다. 담당자는 빈 항목을 추정으로 채우지 말고 어떤 자료가 부족한지 개발 담당에게 전달합니다.

자동 수집과 요청형 검사의 차이

구글 크롤러 개요는 자동으로 사이트를 탐색하는 크롤러와 사용자의 요청으로 가져오기를 수행하는 도구를 설명합니다. 일반 크롤러는 자동 크롤링에 적용되는 robots.txt 규칙을 준수합니다. 운영자는 구글과 관련된 요청이라는 이유만으로 자동 수집과 요청형 검사가 같은 방식으로 실행됐다고 가정하지 않습니다.

서치 콘솔의 크롤링에 사용된 에이전트 항목은 데스크톱 또는 모바일 유형을 나타냅니다. 이 표시는 외부 도구의 사용자 에이전트 설정과 요청 환경 전체가 일치했다는 증거는 아닙니다. 도구 설정에 기재된 이름과 검색 엔진 검사에 표시된 유형을 각각 기록하고, 접근 처리 차이가 의심될 때 서버 요청 기록을 추가로 요청합니다. 이름이 비슷하다는 이유로 두 요청을 같은 방문으로 연결하지 않습니다.

관측 자료를 연결하는 실행 순서

마케팅 담당자는 서로 다른 페이지를 받은 결과부터 모으고, 개발 담당은 해당 요청의 서버 처리 자료를 준비합니다. 전달할 자료에는 대상 주소, 도구 실행 시간과 시간대, 받은 본문, 도구의 요청 설정, 서치 콘솔 결과를 포함합니다. 이미지로 저장한 검사 화면에는 항목 이름과 결과가 함께 들어가도록 정리합니다.

1. 관측 시점을 맞춥니다. 도구 실행 시간과 최근 크롤링 시간을 대조하고, 그 사이의 페이지 수정 여부를 기재합니다.
2. 요청 주체를 확인합니다. 도구의 사용자 에이전트 설정과 구글 검사에 표시된 에이전트 유형을 기록하고, 자동 수집인지 실시간 테스트인지 표시합니다.
3. 검색 엔진 검사 자료로 원인 후보를 좁힙니다. 크롤링 허용 여부, 페이지 가져오기 결과, 실시간 테스트의 오류 문구를 개발 담당에게 전달합니다.

구글 서치 콘솔 도움말은 색인이 생성된 결과의 추가 정보를 크롤링된 페이지 보기에서, 실시간 테스트의 추가 정보를 테스트된 페이지 보기에서 열 수 있다고 안내합니다. 담당자는 자료를 저장할 때 어느 결과에서 가져왔는지 이름에 표시합니다. 수집된 자료와 테스트 자료를 한 묶음으로 전달하더라도, 각 자료의 출처 표시는 유지합니다.

차이 양상별 추가 자료 요청

개발 담당에게는 오류 이름만 전달하지 않고, 어느 요청의 어떤 기록이 필요한지 명시합니다. 연결 실패가 표시됐다면 그 시점의 연결 처리 자료를, 접근 제한이 의심되면 해당 요청에 적용된 제한 기록을 요청합니다. 서버 기록을 확보하지 못했다면 원인을 확정한 문장 대신 오류가 나타난 위치와 미해결 질문을 기재합니다.

robots.txt 규칙을 변경하기 전에는 운영 책임자가 해당 페이지를 수집 대상으로 공개할 의사가 있는지 결정합니다. 의도한 제한이라면 도구가 페이지를 받았다는 이유로 삭제 요청을 진행하지 않습니다. 공개하려는 페이지에 적용된 규칙이 문제로 판명됐을 때 개발 담당이 변경 대상과 재시험 항목을 정합니다.

실시간 성공으로 과거 실패를 지우는 오류

실시간 테스트가 성공해도 과거 크롤링 실패 기록은 별도의 사실로 남습니다. 구글 서치 콘솔 도움말은 서버 오류가 일시적으로 발생할 수 있어, 크롤링 때 실패한 페이지가 실시간 테스트에서는 성공하거나 그 반대가 될 수 있다고 설명합니다. 운영자는 현재 접근 가능 여부와 과거 요청의 실패 원인을 서로 다른 질문으로 처리합니다.

이때 개발 담당에게 요청할 내용은 과거 오류가 발생한 요청을 찾을 수 있는지, 그 시점에 서버가 어떤 응답을 처리했는지입니다. 기록이 남아 있지 않다면 현재 테스트 결과만으로 당시 서버 상태를 복원하지 않습니다. 보고서에는 현재 테스트의 성공을 기재하되, 과거 실패 원인은 자료 부족으로 확정하지 못했다고 표시합니다.

반대로 과거 수집은 성공했는데 실시간 테스트가 실패했다면, 새 오류가 발생한 시점의 접근 상태를 조사합니다. 구글 도움말에 나오는 서버 연결 오류, 잘못된 서버 응답, 유효하지 않은 SSL 인증서 등은 요청 실패를 좁히는 단서입니다. 이런 오류를 발견했다고 본문 내용의 품질 문제까지 함께 판단하지 않습니다.

접근 제한과 응답 실패의 다른 처리

크롤링 비허용 표시와 페이지 가져오기 실패는 같은 조치로 처리하지 않습니다. 구글 도움말에서 크롤링 허용 여부는 robots.txt 규칙에 따른 허용 상태를 뜻하며, 페이지 가져오기는 서버에서 페이지를 받을 수 있는지를 나타냅니다. 담당자는 앞에서 정한 기준에 따라 관련 항목을 선택하고, 규칙 조사와 서버 오류 조사를 따로 요청합니다.

robots.txt를 찾을 수 없다는 오류도 규칙이 크롤링을 금지했다는 표시와 뜻이 다릅니다. 구글 도움말은 파일이 존재하지만 가져올 수 없는 경우 사이트를 크롤링하지 않는다고 설명합니다. 개발 담당은 허용 문구를 변경할지 결정하기 전에 파일 접근 실패 여부부터 조사합니다. 호스트 로드 초과가 표시됐다면 검사 요청을 반복하기보다 당시 서버 처리 상태를 요청합니다.

본문을 받지 못한 관측의 해석

한쪽 요청이 본문을 받지 못했다면 두 페이지의 내용이 서로 다르다고 표현하기 어렵습니다. 실패 메시지와 정상 본문을 비교한 상태라면, 내용 불일치보다 해당 요청의 수신 실패로 기록합니다. 담당자는 빈 결과 화면을 빈 페이지의 증거로 사용하지 않습니다.

수신한 자료에도 본문 대신 접근 안내나 오류 문구가 포함될 수 있습니다. 이런 경우 개발 담당에게 서비스 본문이 반환됐는지와 요청 처리 결과를 함께 요청합니다. 내용 수정 요청은 실제 본문 자료를 확보한 뒤 결정하고, 그전에는 접근 상태 조사와 콘텐츠 변경을 별도 업무로 관리합니다.

이어서 읽을 주제

병원 사이트 색인 주제는 페이지를 가져오는 데 성공한 뒤에도 색인 상태를 별도로 판단해야 하는 이유를 이해할 때 이어 읽을 수 있습니다. 접근 문제 조사를 마친 다음 어떤 색인 자료가 필요한지 정하는 데 활용합니다.