크롤링 도구로 사이트 전체를 점검하는 요령

사이트 전체의 범위와 판단 기준

여기서 전체는 도구가 발견한 주소 전부를 뜻하지 않습니다. 운영자가 점검하기로 정한 페이지와 그 페이지를 찾는 데 필요한 연결 구간을 뜻합니다. 시작 페이지에서 링크를 따라가는 방식만 사용하면 연결되지 않은 운영 페이지가 목록에서 빠질 수 있으므로, 담당자는 탐색 결과와 별개로 대상 목록을 준비합니다.

마케팅 담당자는 공개 콘텐츠와 운영 중인 페이지 목록을 정리하고, 기술 담당자는 사이트맵과 주소 생성 구조를 확보합니다. 네이버 서치어드바이저는 사이트맵을 수집 대상 주소를 담는 XML 파일로 설명합니다. 운영자는 사이트맵을 출발 자료로 사용하되, 현재 운영 목록과 차이가 있는지 대조해 기준 목록을 확정합니다.

탐색 범위를 늘리는 주소의 판별

검색어, 필터 선택값, 정렬 방식이 주소에 반영되면 같은 콘텐츠로 이어지는 주소가 계속 생성될 수 있습니다. 운영자는 새 주소가 독립적인 점검 대상인지, 기존 페이지의 다른 표시 방식인지 가립니다. 새로운 주소가 나왔다는 이유만으로 기준 목록에 모두 추가하지 않습니다.

구글의 URL 구조 안내는 검색 결과, 달력, 정렬·필터 기능에서 크롤링 범위가 크게 늘어날 수 있다고 설명합니다. 담당자는 이 설명을 참고해 도구의 탐색 범위에 제한이 필요한 구간을 지정합니다. 구글의 권장사항을 적용한다는 이유로 사이트의 접근 규칙을 즉시 변경하지 않고, 이번 수집에서 제외할 구간과 사이트 운영 정책을 따로 기록합니다.

완료 판단에는 목록의 차이뿐 아니라 실행 조건도 필요합니다. 구글은 발견한 모든 페이지를 수집하지 않으며, 자바스크립트를 실행해 내용을 표시하는 렌더링을 수행한다고 설명합니다. 이 방식이 모든 도구나 AI 검색에 적용되는 것은 아니므로, 보고서에는 사용한 도구가 어떤 조건으로 페이지를 요청하고 처리했는지 기재합니다.

담당자별 준비 자료와 실행 순서

실행 담당자는 기준 목록, 범위 설정표, 실행 조건 기록을 준비한 뒤 수집을 시작합니다. 마케팅 담당자가 포함해야 할 콘텐츠를 정하고 기술 담당자가 주소와 접근 조건을 정리하면, 수집 결과의 차이를 어느 담당자가 처리할지도 미리 정할 수 있습니다.

1. 사이트맵과 운영 목록을 합쳐 대상 URL 목록을 만들고, 각 항목의 출처와 포함 이유를 기재합니다.
2. 탐색할 사이트 영역과 검색·필터·정렬 구간의 포함 여부를 정하고, 기준 목록을 직접 요청할지 링크를 따라갈지도 기록합니다.
3. 접근 규칙과 자바스크립트 실행 조건을 기록한 뒤 크롤링을 실행하고, 중단 사유와 처리하지 못한 항목을 보존합니다.
4. 수집 목록을 대상 목록과 대조해 미수집 항목과 대상 밖 항목을 추출하고, 추가 조사할 구간을 담당자에게 전달합니다.

robots.txt는 크롤러가 접근할 수 있는 경로를 정하는 규칙 파일입니다. 네이버 서치어드바이저는 검색로봇 접근을 위해 이 파일과 서버의 접근 허용 설정을 함께 확인하도록 안내합니다. 기술 담당자는 이번 도구가 robots.txt를 따르도록 설정했는지와 서버에서 요청을 허용했는지를 별도 항목으로 기록합니다.

렌더링 조건에는 자바스크립트 실행 여부와 내용을 수집하는 시점을 기재합니다. 담당자는 사용하는 도구에서 설정하거나 확인할 수 있는 항목만 기록하고, 알 수 없는 조건은 미확인으로 남깁니다. 자바스크립트 실행을 사용했다는 사실만으로 필요한 본문이 모두 처리됐다고 판단하지 않습니다.

수집 목록과 대상 목록의 대조

대조표는 기준 목록에 있던 주소와 도구가 새로 발견한 주소를 함께 기록합니다. 수집 여부와 범위 판단을 별도 열로 작성하면, 미수집 항목을 오류로 단정하거나 대상 밖 주소를 모두 불필요하다고 처리하는 일을 줄일 수 있습니다.

담당자는 결과 파일에 기준 목록과 설정 기록을 함께 보관합니다. 수집 당시 사용한 목록이 없으면 나중에 추가된 페이지와 당시 누락된 페이지를 가리기 어렵기 때문입니다. 최종 기록에는 처리한 범위, 제외한 범위, 결론을 내리지 못한 범위를 각각 명시합니다.

미수집 항목의 원인 판별

수집 목록에 없다는 사실만으로 해당 페이지에 접근할 수 없다고 단정하지 않습니다. 먼저 도구가 그 주소를 요청했는지, 요청 전에 설정에서 제외했는지 가립니다. 요청하지 않은 항목과 요청했지만 처리하지 못한 항목은 후속 작업이 달라집니다.

링크 탐색에서 발견하지 못한 주소는 기준 목록을 직접 요청하는 작업으로 조사할 수 있습니다. 직접 요청으로 수집됐다면 해당 결과는 페이지에 도달한 기록이며, 기존 탐색 경로에서 발견됐다는 기록은 아닙니다. 담당자는 직접 요청한 결과를 기존 결과에 합칠 때 수집 경로를 함께 기재합니다.

도구가 요청한 뒤 처리하지 못했다면 실행 기록에서 접근 거부, 연결 실패, 처리 중단 등 남아 있는 사유를 추출합니다. 사유가 기록되지 않았다면 원인을 추정해 확정하지 않고 재실행 대상에 포함합니다. 재실행 때는 조사하려는 조건을 명시하고, 기존 실행과 달라진 설정을 기록합니다.

대상 밖 주소와 완료 기록

대상 밖에서 수집된 주소는 운영 목록의 누락인지, 탐색 과정에서 생성된 반복 주소인지 판단합니다. 담당자는 주소의 생성 규칙과 연결된 콘텐츠의 차이를 근거로 포함 필요성을 결정합니다. 검색·필터 주소라는 이유만으로 일괄 제외하면 운영자가 점검하려던 독립 콘텐츠까지 빠질 수 있습니다.

실행이 중단됐다면 그때까지의 수집 목록을 전체 결과로 표시하지 않습니다. 시작한 범위와 실제 처리한 범위를 따로 기재하고, 중단 이후 처리 여부를 알 수 없는 구간을 남깁니다. 제외 설정 때문에 요청하지 않은 항목도 성공 또는 실패 항목에 합산하지 않습니다.

도구의 종료 알림은 실행이 끝났다는 기록으로 사용합니다. 구글은 요건을 충족한 페이지라도 크롤링·색인 생성·검색결과 게재를 보장하지 않는다고 설명합니다. 운영자는 도구의 수집 완료를 검색 엔진의 전체 수집이나 AI 답변 인용을 입증하는 자료로 사용하지 않습니다.

실행 도중 변경된 운영 상태

수집 도중 페이지가 공개되거나 삭제됐다면 최초 기준 목록만으로 누락 여부를 확정하기 어렵습니다. 운영 담당자는 실행 중 배포, 콘텐츠 게시, 주소 변경이 있었는지 기록하고 해당 항목을 별도 재실행 대상으로 지정합니다. 가능하면 수집 시작 전에 기준 목록을 확정하고 변경 내역을 별도로 관리합니다.

변경 이후 결과를 추가할 때는 최초 결과를 덮어쓰지 않습니다. 실행 시점이 다른 목록을 하나로 합치면 동시에 존재하지 않았던 페이지까지 당시 운영 범위로 해석할 수 있습니다. 담당자는 각 결과가 어느 운영 상태를 반영하는지 표시하고, 상태가 달라진 구간에 한해 완료 판단을 보류합니다.

이어서 읽을 주제

병원 사이트 색인은 수집 기록과 색인 상태를 별도 근거로 판단하는 주제를 이어 읽을 때 참고할 수 있습니다. GEO 대행 보고서는 대상 목록과 실행 조건, 미처리 범위가 보고서에 어떻게 남아야 하는지 판단하기 위해 이어 읽을 수 있습니다.