X-Robots-Tag 헤더를 쓰는 경우

HTML이 아닌 파일의 검색 제외 판단

구글은 X-Robots-Tag 응답 헤더를 HTML이 아닌 리소스에도 사용할 수 있다고 설명합니다. 운영자는 파일 형식과 검색 제외 목적을 먼저 정하고, 그 파일을 전달하는 서버에서 헤더를 설정할 수 있는지 개발 담당에게 요청합니다. 파일을 소개하는 페이지와 다운로드되는 파일은 요청 대상이 다르므로, 어느 쪽을 검색에서 제외하려는지 요청서에 명시합니다.

표의 선택 기준은 파일을 웹에서 없애는 것이 아니라 검색 색인 대상에서 제외하려는 목적입니다. 파일을 계속 제공하면서 검색 제외 지시를 전달해야 한다면 헤더 적용을 요청할 수 있습니다. 열람 권한 자체를 제한해야 하는 자료라면 검색 설정 요청과 접근 권한 요청을 별도 업무로 처리합니다.

파일 응답과 헤더의 관계

파일이 정상적으로 다운로드된다는 사실만으로 X-Robots-Tag 적용 여부를 알 수는 없습니다. 브라우저에 나타나는 파일 내용과 서버가 함께 보내는 헤더는 서로 다른 자료이기 때문입니다. 마케팅 담당자는 파일 화면을 캡처하는 대신, 개발 담당에게 대상 파일의 실제 응답 헤더를 요청합니다.

구글은 응답 헤더의 noindex를 검색 색인 생성 차단 방법으로 설명합니다. 구글봇이 크롤링 중 이 지시를 읽으면 외부 사이트의 연결 여부와 관계없이 대상 콘텐츠를 구글 검색 결과에서 제외합니다. 운영 요청에는 단순히 ‘검색 제한’이라고 쓰기보다 대상 파일의 검색 색인을 제외하려는 목적과 noindex 적용 요청을 함께 기재합니다.

헤더를 선택했다고 파일 형식마다 새로운 검색 제외 기준을 만들 필요는 없습니다. 판단에 필요한 차이는 지시를 전달할 응답을 어디에서 관리하느냐입니다. 파일 저장 위치와 전송 담당이 다른 경우에는 서버 설정 담당과 파일 제공 담당에게 같은 대상 목록을 공유하고, 누가 최종 응답을 수정하는지 정합니다.

대상 선정부터 접근 조건까지의 순서

작업은 대상 리소스와 제외 목적을 정한 뒤, 응답 헤더의 지시와 적용 대상을 확인하고, 마지막으로 URL의 크롤링 허용 여부를 판단하는 순서로 진행합니다. 운영자는 정책 결정을 맡고 개발 담당은 실제 응답 자료와 설정 범위를 제시합니다. 대상 파일 목록 없이 서버 전체에 일괄 적용을 요청하면 유지해야 할 파일까지 작업 범위에 포함될 수 있습니다.

1. 운영 담당자가 제외할 파일과 계속 검색 대상으로 유지할 파일을 나누고, 제외 사유를 기재합니다.
2. 개발 담당자가 대상 파일의 응답 헤더를 수집하고, X-Robots-Tag의 값과 사용자 에이전트 지정 여부를 제출합니다.
3. 개발 담당자가 해당 URL의 크롤링 제한과 실제 접근 상태를 조사하고, 지시를 읽는 데 방해되는 조건을 보고합니다.
4. 운영 담당자가 요청 범위와 개발 결과를 대조하고, 변경 대상과 유지 대상을 승인합니다.

구글은 robots.txt로 크롤링이 금지된 URL에서는 로봇 지시가 발견되지 않는다고 설명합니다. 헤더가 서버에 등록되어 있어도 크롤러가 해당 응답을 받지 못하면 읽히는 조건을 충족하지 못합니다. 개발 담당에게는 설정 화면의 내용뿐 아니라 대상 파일에 요청했을 때 반환된 자료를 제출하도록 요청합니다.

개발 담당에게 전달할 자료

요청서에는 파일 식별 정보, 제외 목적, 헤더 자료, 접근 상태를 연결해서 기재합니다. 파일 이름이 비슷하거나 같은 자료를 여러 위치에서 제공한다면 내부 목록에서 각각을 식별할 수 있게 관리합니다. 아래 항목은 플랫폼의 필수 제출 양식이 아니라 운영자가 변경 범위를 합의하기 위한 실무 자료입니다.

설정 범위 자료에는 개별 파일에 적용했는지, 여러 파일에 함께 적용했는지도 포함합니다. 운영 담당자는 제외하지 않을 파일을 함께 지정해 개발 담당이 유지 대상의 응답도 검사하도록 요청합니다. 작업 완료 기록에는 적용한 파일 목록과 수정하지 않은 파일 목록을 함께 남깁니다.

파일을 외부 저장 서비스에서 제공한다면 자사 웹 서버 담당만으로 변경할 수 있는지 먼저 결정합니다. 운영 담당자는 실제 파일 응답을 관리하는 주체에게 헤더 수정 가능 여부와 적용 범위를 묻습니다. 수정 권한이 없다는 답변을 받으면 완료로 처리하지 않고, 제공 위치 변경이나 서비스 운영자 협의가 필요한 업무로 기록합니다.

적용 대상과 충돌 지시의 판정

X-Robots-Tag라는 헤더 이름만으로 지시의 적용 대상을 확정해서는 안 됩니다. 구글 문서는 규칙 앞에 사용자 에이전트를 지정할 수 있으며, 지정하지 않은 규칙은 모든 크롤러에 유효하다고 설명합니다. 운영 기록에는 사용자 에이전트 지정이 없는 규칙과 특정 대상이 명시된 규칙을 각각 기재합니다.

이 설명을 모든 서비스가 같은 규칙을 지원하거나 같은 결과를 낸다는 뜻으로 확대하지 않습니다. 담당자는 응답에 어떤 대상이 명시되어 있는지 기록하고, 이번 작업에서 판단할 검색 서비스의 범위를 요청서에 남깁니다. 대상 이름을 생략한 설정과 특정 이름을 넣은 설정이 섞여 있다면 각 규칙이 누구에게 적용되는지 개발 담당에게 설명을 요청합니다.

구글은 로봇 지시가 충돌하면 더 제한적인 규칙을 적용한다고 설명합니다. 따라서 새 지시만 발췌하지 말고 대상 응답에 포함된 X-Robots-Tag 전체를 수집해야 합니다. 기존 서버 설정과 새 파일 설정이 함께 작동한다면 개발 담당이 각 지시의 생성 위치를 밝히고, 운영 담당은 필요한 지시를 유지하도록 변경 범위를 정합니다.

일부 응답만으로 완료하는 오류

한 파일에서 원하는 헤더를 받았다는 결과는 검사한 응답에 대한 기록입니다. 여러 파일에 동일한 설정을 요청했다면 그 결과만으로 전체 작업을 완료 처리하지 않습니다. 개발 담당에게 적용 목록과 설정이 연결되는 근거를 요청하고, 예외 파일이 있는지 함께 기재하도록 합니다.

응답 자료와 검색 결과 상태는 같은 완료 항목으로 합치지 않습니다. 구글은 noindex 추가 후 아직 다시 크롤링하지 않은 경우 검색 결과에 계속 나타날 수 있다고 설명합니다. 기록에는 서버의 변경 완료와 검색 결과 관찰을 각각 기재하고, 검색 결과가 남아 있다는 이유만으로 설정 실패를 단정하지 않습니다.

파일 교체와 제공 위치 변경의 관리

파일을 교체하는 작업에서도 기존 검색 제외 요청을 유지할지 결정해야 합니다. 내용은 그대로여도 저장 위치나 파일 제공 방식이 변경되면 담당자가 관리하는 설정 범위와 달라질 수 있습니다. 운영자는 파일 교체 요청서에 검색 제외 유지 여부를 기재하고, 개발 담당에게 교체 후 응답 자료를 요청합니다.

새 파일 이름만 전달하면 검색 정책까지 승계해야 하는지 개발 담당이 판단하기 어렵습니다. 파일을 등록하는 담당자는 공개 목적과 검색 대상 유지 여부를 함께 전달합니다. 재사용하는 등록 절차에는 헤더 관련 요청 항목을 추가하되, 모든 신규 파일에 noindex를 일괄 적용하는 규칙으로 만들지는 않습니다.

이어서 읽을 주제

병원 블로그 플랫폼은 게시물을 올리는 서비스와 첨부파일을 제공하는 서비스가 다를 때 파일 응답의 관리 주체를 정하기 위해 이어 읽을 주제입니다. 플랫폼 선택 시 첨부파일의 검색 설정을 누가 관리할 수 있는지 묻는 데 연결합니다.