사이트맵 제외 대상과 처리 범위
사이트맵에서는 선택한 대표 주소가 아닌 중복 주소, 다른 주소로 이동하는 주소, 검색 제외를 의도한 noindex 주소를 제외 대상으로 판단합니다. 목록에서 빼는 작업 자체를 검색 제외나 크롤링 차단으로 해석해서는 안 됩니다. 운영자는 현재 사이트맵에 있는 주소를 대상으로 제외 사유를 가리고, 페이지에 필요한 처리는 별도로 요청합니다.
구글의 사이트맵 제작 안내는 같은 콘텐츠에 여러 주소로 접근할 수 있다면 원하는 주소를 선택해 사이트맵에 담도록 설명합니다. 이미 대표 주소가 정해진 사이트에서는 그 선택과 제출 목록이 일치하는지를 판단합니다. 주소 모양이 비슷하다는 이유만으로 중복이라고 결론 내리지 않고, 실제 콘텐츠와 기존 대표 주소 기록을 대조합니다.
| 제외 후보 유형 | 확인할 상태 | 제외 판단 근거 |
|---|---|---|
| 비대표 중복 주소 | 같은 콘텐츠의 사본이며 선택한 대표 주소가 따로 있음 | 같은 콘텐츠의 모든 주소를 제출할 필요가 없음 |
| 다른 주소로 이동하는 주소 | 요청한 주소에서 다른 도착 주소로 연결됨 | 구글은 이동 출발 주소의 색인을 생성하지 않음 |
| 검색 제외 목적의 noindex 주소 | 검색 제외 의도와 실제 noindex 설정이 일치함 | 검색에 전달할 목록과 운영 목적이 충돌함 |
표의 마지막 항목은 구글이 모든 noindex 주소에 대해 사이트맵 삭제를 직접 지시했다는 뜻이 아닙니다. 사이트맵으로 전달하려는 주소와 검색 제외 목적이 충돌하는지를 운영자가 판단하는 기준입니다. noindex가 실수로 설정된 주소라면 목록 삭제를 확정하기 전에 콘텐츠 담당자에게 검색 노출 의도를 묻습니다.
제출 목록과 페이지 동작의 차이
구글의 robots.txt 안내는 사이트맵을 크롤링할 콘텐츠를 알리는 수단으로 설명하며, 접근 허용 여부를 정하는 수단으로 설명하지 않습니다. 사이트맵에서 주소를 삭제했다는 사실만으로 해당 페이지의 접근이나 검색 상태가 변경되었다고 결론 내릴 수 없습니다. 담당자는 제출 목록의 변경과 페이지 동작의 변경을 서로 다른 작업 항목으로 기록합니다.
구글의 페이지 색인 생성 보고서 도움말은 중복 사본과 다른 주소로 이동하는 출발 주소의 색인을 생성하지 않는다고 설명합니다. 이동 주소를 제외할 때는 도착 주소를 기록하되, 그 도착 주소를 곧바로 사이트맵에 추가하지는 않습니다. 도착 주소의 제출 여부는 기존에 선택한 대표 주소와 운영 목적을 기준으로 별도 판단합니다.
이 판단에 사용하는 플랫폼 근거는 구글 안내입니다. 같은 제외 목록을 다른 검색엔진이나 AI 서비스에도 동일하게 적용해야 한다고 단정하지 않습니다. 여러 서비스를 관리한다면 서비스 이름과 판단 근거를 함께 기재하고, 구글에서 내린 결론을 전체 서비스의 공통 규칙으로 표시하지 않습니다.
제외 후보를 가리는 작업 순서
운영 담당자는 현재 게시된 사이트맵의 주소 목록과 이미 승인된 대표 주소 기록을 준비합니다. 개발 담당자는 후보 주소의 현재 응답, 이동 도착 주소, noindex 설정 위치를 조사할 자료를 준비합니다. 콘텐츠 담당자는 검색에서 제외하려는 페이지와 계속 노출하려는 페이지의 의도를 답할 수 있어야 합니다.
- 먼저 같은 콘텐츠의 비대표 사본을 가립니다. 대표 주소 기록과 후보 페이지의 내용을 대조하고, 대표 주소 선택이 미확정이면 제외 결정을 보류합니다.
- 다음으로 후보 주소의 이동 여부와 noindex 설정을 조사합니다. 다른 주소로 이동하면 도착 주소를 기재하고, noindex가 있으면 콘텐츠 담당자에게 검색 제외 의도와 일치하는지 묻습니다.
- 마지막으로 목록 삭제와 별도 처리 요청을 나눕니다. 주소별 제외 사유를 확정한 뒤 사이트맵 변경 담당자와 페이지 설정 담당자에게 각각 필요한 작업을 전달합니다.
조사 중 상태를 읽을 수 없는 주소는 제외 후보와 섞지 않고 미확정 항목으로 관리합니다. 접속 실패만으로 중복 사본이나 이동 주소라고 판단할 수는 없습니다. 담당자는 판단에 부족한 자료를 명시하고, 그 자료를 확보한 뒤 제외 여부를 결정합니다.
개발 담당에게 전달할 자료
개발 요청에는 주소 목록뿐 아니라 현재 상태와 원하는 처리 범위를 함께 기재합니다. 아래 표는 앞에서 정한 기준을 작업 요청으로 옮기는 형식입니다. 별도 처리가 필요하지 않은 항목에도 그 판단을 기록해, 사이트맵 정비가 페이지 설정 변경으로 확대되지 않도록 합니다.
| 사이트맵에서 뺄 주소 | 별도 처리 필요 여부 | 개발 담당에게 요청할 확인 |
|---|---|---|
| 대표 주소가 따로 있는 중복 사본 | 기존 페이지 설정의 변경 필요성은 별도 판단 | 제외 대상이 선택한 대표 주소 자체가 아닌지 대조 |
| 다른 주소로 이동하는 출발 주소 | 사이트맵 정비만으로 이동 설정을 종료하지 않음 | 현재 출발 주소와 최종 도착 주소를 기록 |
| 검색 제외를 의도한 noindex 주소 | 검색 제외 설정이 실제 전달되는지 조사 필요 | 태그 또는 응답 헤더와 크롤러 접근 상태를 조사 |
구글의 noindex 안내는 페이지의 메타 태그나 HTTP 응답 헤더로 검색 제외 규칙을 전달할 수 있다고 설명합니다. 개발 담당자는 관리 화면의 선택 상태만 보고 작업을 완료하지 않고, 실제 페이지 응답에서 해당 규칙을 읽을 수 있는지 조사합니다. 운영 담당자는 화면 캡처와 실제 응답 자료가 서로 다른 증거라는 점을 요청서에 명시합니다.
완료 자료에는 사이트맵에서 삭제된 항목과 페이지 설정에 수행한 작업을 따로 기재합니다. 목록만 변경했다면 페이지 설정 변경란을 완료로 표시하지 않습니다. 요청 범위를 벗어난 변경이 발견되면 담당자가 변경 내용과 승인 여부를 기록한 뒤 후속 처리를 결정합니다.
검색 제외 의도와 접근 차단의 충돌
검색 제외를 의도한 noindex 주소는 사이트맵 삭제 여부와 별개로 크롤러가 규칙을 읽을 수 있는지를 판단해야 합니다. 구글은 noindex가 작동하려면 페이지에 접근할 수 있어야 하며, robots.txt로 차단되면 규칙을 읽지 못해 검색 결과에 남을 수 있다고 설명합니다. 개발 담당자는 검색 제외 요청을 접근 차단 요청으로 해석하지 않도록 처리 목적을 명시합니다.
noindex가 설정되어 있다는 보고와 구글이 그 규칙을 읽었다는 기록은 서로 다른 상태입니다. 구글 안내에 따르면 규칙을 추가한 뒤 아직 페이지를 크롤링하지 않았거나 접근이 차단된 경우 검색 결과에 계속 표시될 수 있습니다. 사이트맵 작업을 마친 담당자는 남은 문제를 목록 삭제 실패로 단정하지 않고, 페이지 접근과 규칙 전달 상태를 조사하도록 요청합니다.
구글은 URL 검사 도구로 크롤링 과정에서 수신한 HTML을 조사하고, 페이지 색인 생성 보고서로 noindex가 추출된 페이지를 추적할 수 있다고 설명합니다. 운영자는 이 자료를 검색 제외 상태를 판단하는 후속 자료로 사용합니다. 다른 AI 서비스의 인용 중단 여부를 입증하는 자료로 사용하지는 않습니다.
결론을 보류할 항목의 기록
상태가 겹치는 주소는 가장 먼저 발견한 사유만 기록하지 않습니다. 비대표 사본이면서 다른 주소로 이동한다면 두 상태를 함께 기재하고, 사이트맵 제외 결론과 추가 조사 항목을 각각 남깁니다. 제외 결론이 같아도 개발 담당자가 조사할 페이지 동작은 달라질 수 있기 때문입니다.
검색 제외 의도가 불분명한 noindex 주소는 의도 미확정으로 기록합니다. 마케팅 담당자가 검색 노출을 원하고 개발 담당자가 제외 설정을 보고했다면, 어느 설명이 현재 승인된 운영 목적에 해당하는지 콘텐츠 책임자가 결정해야 합니다. 목록을 먼저 삭제해 의견 차이를 해결한 것으로 처리하지 않습니다.
기록에는 조사한 시점, 응답 자료, 판단한 담당자, 보류 사유를 함께 남깁니다. 이후 다른 상태가 발견되면 이전 결론을 지우기보다 새 자료와 변경 이유를 추가합니다. 이렇게 작성한 기록으로 이번 제외 판단의 근거와 아직 끝나지 않은 요청을 전달합니다.
주소 일부 일치에 따른 일괄 제외
주소에 같은 단어나 매개변수 이름이 있다는 이유만으로 여러 항목을 일괄 제외하지 않습니다. 일부 문자열은 같아도 각 주소가 전달하는 내용과 운영 목적은 다를 수 있습니다. 담당자는 문자열 검색으로 모은 목록을 조사 대상으로 사용하고, 그 목록 자체를 승인된 제외 목록으로 취급하지 않습니다.
일괄 작업을 요청할 때는 제외가 확정된 주소를 명시하고, 판단이 끝나지 않은 항목을 작업 범위에서 제외합니다. 개발 담당자가 작업 편의를 위해 제외 조건을 넓히려면 운영 담당자에게 영향을 받는 항목을 전달해야 합니다. 승인자는 새로 포함되는 주소의 사유를 읽은 뒤 요청 범위를 변경합니다.
자주 묻는 질문
서치 콘솔 보고서와 현재 응답이 다르면 무엇을 기준으로 합니까?
현재 사이트맵 작업에는 지금의 응답 자료를 사용하되, 보고서가 어떤 시점의 상태를 담았는지도 기록합니다. 구글 도움말은 마지막 크롤링 이후 오류가 해결되면 보고서와 현재 상태가 다를 수 있다고 설명합니다. 개발 담당자는 크롤링 날짜와 수정 시점을 대조해 차이를 설명합니다.
제외한 주소를 다시 사이트맵에 넣으려면 새 승인이 필요합니까?
운영 절차에서는 기존 제외 사유가 해소되었는지 판단한 뒤 재포함을 승인하는 편이 적절합니다. 이전 승인만 재사용하면 변경된 페이지 목적이 누락될 수 있습니다. 담당자는 재포함 이유와 현재 상태 자료를 함께 제출합니다.
여러 담당자가 같은 주소에 다른 제외 사유를 쓰면 어떻게 합니까?
각 사유가 서로 배타적인지, 동시에 성립하는 상태인지 먼저 가립니다. 실제 상태에 대한 의견 차이라면 같은 응답 자료를 기준으로 결론을 조정하고, 운영 목적의 차이라면 승인 책임자에게 결정을 요청합니다. 합의하지 못한 항목에는 임의로 완료 표시를 하지 않습니다.
긴급하게 사이트맵을 정비할 때 승인 범위를 줄여도 됩니까?
긴급 작업은 판단이 끝난 항목으로 범위를 제한할 수 있습니다. 미확정 항목까지 같은 사유로 삭제하지 말고, 보류 목록과 후속 책임자를 함께 기록합니다. 작업 요청에는 이번에 수행할 변경과 수행하지 않을 변경을 명시합니다.
사이트맵 제외 작업의 완료 자료에는 무엇을 첨부합니까?
변경 전후 목록, 승인된 제외 대상, 실제 반영 결과를 첨부합니다. 목록 전체를 전달하기 어려우면 승인 항목별 처리 결과와 미처리 사유를 기록합니다. 별도 설정 작업이 남아 있다면 사이트맵 완료 자료에서도 그 상태를 읽을 수 있도록 표시합니다.