robots.txt에서 AI 크롤러별로 다르게 허용하는 방법

크롤러별 접근 범위의 결정

구글의 파일 작성 안내는 robots.txt의 규칙을 모든 크롤러 또는 특정 크롤러에 적용할 수 있다고 설명합니다. 별도 제한이 없는 파일은 기본적으로 크롤링이 허용된다고 안내합니다. 따라서 요청서에는 허용할 콘텐츠만 나열하지 말고, 접근을 제한하려는 경로와 그 제한을 적용할 대상도 함께 기재합니다.

표의 접근 범위는 플랫폼의 기본 설정을 뜻하지 않고 운영자가 결정할 항목입니다. 같은 콘텐츠라도 대상별 요청 내용이 다르면 각각의 행에 기록합니다. 아직 대상 이름이나 지원 지침을 찾지 못했다면 추정한 규칙을 전달하지 말고 미결정 항목으로 표시합니다.

대상 이름과 제한 경로의 역할

User-agent는 규칙을 적용할 크롤러 이름을 지정하는 항목입니다. Disallow는 그 대상이 접근하지 못하도록 요청할 경로를 지정하는 항목입니다. 담당자는 콘텐츠의 제목이나 메뉴 이름을 제한 경로로 옮기지 말고 실제 사이트에서 사용하는 경로를 기재합니다.

대상 이름과 제한 경로는 서로 다른 질문에 답합니다. 대상 이름은 누구에게 적용할지 정하고, 경로는 사이트의 어느 범위에 적용할지 정합니다. 회사 이름만 적은 요청이나 제한할 페이지 이름만 적은 요청은 작업 기준이 부족하므로, 마케팅 담당자가 빠진 항목을 보완한 뒤 개발 담당자에게 전달합니다.

공개 페이지 전체를 대상으로 할지 일부 경로만 대상으로 할지도 요청서에서 명확히 합니다. 메뉴 하나에 여러 경로가 연결되어 있다면 개발 담당자가 실제 경로 목록을 추출하고 콘텐츠 담당자가 대상 페이지를 승인합니다. 특정 경로를 기재했을 때 어느 페이지까지 포함되는지는 해당 플랫폼의 해석 설명에 대조해 판단합니다.

설정 요청서 작성 순서

작업은 대상 크롤러와 원하는 접근 범위를 정리하는 단계부터 시작합니다. 그다음 크롤러별 이름과 경로 규칙을 작성하고, 마지막으로 플랫폼의 지원 지침과 작성 내용을 대조합니다. 공식 문서에서 답을 찾지 못한 항목은 담당자의 추측으로 채우지 않고 추가 조사 대상으로 표시합니다.

1. 마케팅 담당자가 이용하려는 AI 서비스와 관리할 크롤러 후보를 정리하고, 콘텐츠 담당자가 접근 대상과 제한 대상을 승인합니다.
2. 개발 담당자가 공식 문서의 대상 이름을 기재하고, 승인된 콘텐츠 목록을 실제 경로에 연결해 크롤러별 규칙 초안을 작성합니다.
3. 운영 담당자가 플랫폼의 지원 지침과 초안을 대조하고, 설명이 부족한 경로 표현이나 대상 이름은 반영 전에 보완하도록 요청합니다.

자료는 서비스 목록, 콘텐츠 목록, 실제 경로 목록, 플랫폼의 공식 설명을 준비합니다. 콘텐츠 목록에는 페이지 제목과 제한 사유를 기재하고, 경로 목록에는 개발 담당자가 추출한 값을 사용합니다. 두 목록이 연결되지 않으면 운영자가 승인한 범위와 개발 담당자가 수정할 범위가 달라질 수 있습니다.

담당자에게 전달할 요청 항목

요청서에는 변경할 항목과 이번에 변경하지 않을 항목을 함께 표시합니다. 개발 담당자가 관련 크롤러까지 일괄 수정하지 않도록, 요청 대상 외의 설정은 작업 범위에서 제외한다고 명시합니다. 경로를 여러 개 전달할 때는 각 경로가 어느 대상 이름에 속하는지 개별 항목으로 연결합니다.

설정 문장만 전달하면 담당자가 그 문장을 선택한 이유를 알기 어렵습니다. 운영자는 경로별 제한 사유를 짧게 기재하고, 개발 담당자는 작성 가능한 표현과 추가 결정이 필요한 내용을 나누어 회신합니다. 반영 요청은 이름과 경로의 짝이 완성된 항목부터 진행하며 미결정 항목까지 한꺼번에 승인하지 않습니다.

오픈에이아이의 독립 설정 해석

오픈에이아이는 크롤러별 설정이 서로 독립적이라고 설명합니다. OAI-SearchBot의 설정을 결정했다고 해서 다른 자동 크롤러의 설정까지 함께 결정한 것으로 처리해서는 안 됩니다. 요청서에서도 각 대상의 접근 범위를 별도 항목으로 작성합니다.

이 설명은 같은 회사가 운영하는 크롤러라도 하나의 공통 설정으로 묶지 않을 수 있다는 작성 기준을 제시합니다. 운영자는 회사 이름으로 묶은 요청을 크롤러별 항목으로 고치고, 각 항목에 적용할 경로를 연결합니다. 다른 AI 서비스에도 같은 독립 설정이 있다고 판단하려면 해당 서비스의 공식 설명이 필요합니다.

오픈에이아이는 사용자 요청으로 방문하는 에이전트에 robots.txt 규칙이 적용되지 않을 수 있다고 설명합니다. 자동 크롤러용 요청서를 모든 방문 방식의 통제 문서로 사용하지 않도록, 담당자는 대상의 요청 방식도 기록합니다. 이름이 공식 문서에 있다는 이유만으로 모두 동일한 설정 항목에 포함하지 않습니다.

다른 플랫폼에 복사하기 전의 판단

다른 플랫폼으로 옮길 때는 대상 이름만 교체하는 방식으로 작업을 끝내지 않습니다. 구글은 크롤러마다 robots.txt 구문을 다르게 해석하거나 일부 지침을 이해하지 못할 수 있다고 설명합니다. 담당자는 사용하려는 항목과 경로 표현을 해당 플랫폼의 설명에 대조합니다.

문서에 크롤러 이름만 있고 경로 규칙의 지원 범위가 설명되지 않았다면, 그 이름을 알아낸 사실과 원하는 설정을 작성할 수 있는지는 별도 판단으로 기록합니다. 설명이 없는 부분을 구글이나 오픈에이아이의 동작으로 대신 채우지 않습니다. 운영자는 자료가 더 필요한 항목을 따로 표시하고 그 항목의 적용 승인을 보류합니다.

완료 보고에는 요청한 대상과 경로를 파일에 반영했는지 기재합니다. robots.txt 설정만으로 실제 수집, 색인, AI 답변 노출이나 인용을 보장하지 않습니다. 담당자는 완료 문구를 설정 반영 범위로 한정하고, 수행하지 않은 결과 조사까지 완료했다고 기재하지 않습니다.

경로 목록에서 빠지기 쉬운 대상

콘텐츠 목록과 경로 목록은 일대일로 연결되지 않을 수 있습니다. 하나의 페이지에 첨부 파일이나 별도 자료가 연결되어 있다면, 해당 자료도 요청 범위에 포함할지 콘텐츠 담당자가 결정합니다. 화면에 표시되는 제목만으로 경로 목록을 완성하지 않습니다.

개발 담당자는 페이지와 연결 자료의 경로를 각각 추출하고, 운영자는 제한 사유가 어느 항목에 해당하는지 기재합니다. 페이지 접근을 제한하려는 요청에 연결 자료까지 자동으로 포함했다고 간주하지 않습니다. 연결 자료의 결정을 아직 내리지 않았다면 페이지 항목의 승인과 분리해 기록합니다. 이 과정에서 발견한 자료가 원래 요청 범위에 없었다면 담당자는 작업 범위를 임의로 확대하지 않고 운영자에게 추가 결정을 요청합니다.

이어서 읽을 주제

병원 GEO 기술 진단을 이어 읽으면 업종별 사이트에서 기술 진단의 대상과 필요한 자료를 정하는 방법을 연결할 수 있습니다. 병원 GEO 실행 순서를 이어 읽으면 기술 작업을 어느 담당자에게 어떤 순서로 전달할지 정리할 수 있습니다.