robots.txt의 AI 크롤러 차단 여부 확인

대상 도메인과 페이지 경로

구글 문서는 robots.txt가 사이트의 루트에 위치하며, 규칙은 파일이 게시된 도메인 또는 하위 도메인의 경로에 적용된다고 설명합니다. 회사 소개와 자료실이 서로 다른 하위 도메인에 있다면 조사할 파일도 각각 지정합니다. 회사 대표 사이트의 파일만 읽고 다른 하위 도메인의 차단 여부까지 판정하지 않습니다.

표의 주소 항목은 업무 문서에서 실제 조사 대상 주소로 채웁니다. 담당자는 페이지가 속한 도메인과 파일을 연 도메인을 함께 기재하고, 페이지의 경로를 별도 항목으로 기록합니다. 주소 전체와 경로를 따로 기록하면 파일 선택의 오류와 경로 해석의 오류를 각각 추적할 수 있습니다.

크롤러 지정과 경로 제한의 판단

User-agent 항목은 규칙의 대상 크롤러를 지정하고, Allow와 Disallow 항목은 접근을 허용하거나 제한할 경로를 나타냅니다. 구글 문서는 규칙이 모든 크롤러 또는 특정 크롤러를 대상으로 할 수 있으며, 별도 제한이 없으면 파일 접근이 기본적으로 허용된다고 설명합니다. 대상 이름이 없는 경우에도 전체 크롤러를 가리키는 항목이 있는지 읽어야 합니다.

판정 단위는 크롤러 이름과 페이지 경로의 조합입니다. 같은 파일 안에서도 조사 대상에 따라 결과가 달라질 수 있으므로, 파일 전체를 단순히 허용 또는 차단으로 표시하지 않습니다. 운영자는 이름을 지정한 항목부터 찾고, 해당 페이지에 어떤 경로 지시가 적용되는지 담당자에게 설명하도록 요청합니다.

적용 규칙이 명확하면 해당 경로의 차단 여부를 기록합니다. 여러 항목의 관계를 설명하기 어렵거나 경로 표현의 적용 범위가 불명확하면 판단을 보류합니다. 이때는 막연한 추가 조사 요청 대신, 해석이 필요한 항목과 판정하지 못한 페이지 경로를 함께 전달합니다.

게시 파일부터 경로 대조까지의 순서

마케팅 담당자는 조사할 페이지 목록과 대상 크롤러 이름을 준비하고, 사이트 관리 담당자는 게시된 파일의 내용을 확보합니다. 요청서에는 원하는 설정을 기재하기보다 현재 상태를 판단할 대상을 명시합니다. 파일 수정은 이번 조사의 결과와 별도 업무로 처리합니다.

1. 조사할 페이지가 속한 도메인·하위 도메인의 루트에서 robots.txt를 엽니다. 파일을 읽을 수 없다면 그 상태를 기록하고, 내용이 없는 것으로 간주하지 않습니다.
2. 대상 크롤러 이름을 지정한 User-agent 항목과 전체 크롤러를 대상으로 하는 항목을 찾습니다. 관련 부분만 잘라 전달하기 전에 파일 전체 내용을 함께 보존합니다.
3. 대상 페이지의 경로를 적용되는 Allow 또는 Disallow 항목과 대조합니다. 담당자는 차단 범위에 포함되는지 설명하고, 해석이 끝나지 않은 경로는 보류로 표시합니다.

업무 자료에는 파일을 읽은 시점, 조사 대상 도메인, 페이지 경로, 대상 크롤러 이름을 기재합니다. 사이트 관리 담당자는 판정의 근거가 된 항목을 원문 그대로 기록하고, 마케팅 담당자는 결과 설명을 별도 칸에 정리합니다. 기술 지시와 업무 해석을 섞지 않아야 다음 담당자가 판단 과정을 재현할 수 있습니다.

크롤러와 페이지별 결과 기록

결과표에는 크롤러별로 조사한 경로와 판정 근거를 함께 남깁니다. 차단 여부만 기재하면 조사하지 않은 페이지까지 같은 결과로 받아들일 수 있습니다. 아래 표의 항목은 작업 형식이며, 실제 결과는 현재 파일을 읽은 담당자가 채웁니다.

추가 질의에는 대상 크롤러, 페이지 경로, 해석이 어려운 규칙, 필요한 답변을 함께 기재합니다. 예를 들어 담당자에게 해당 경로의 적용 항목과 판정 근거를 설명해 달라고 요청할 수 있습니다. 이는 실제 회사 사례가 아닌 업무 요청 방식이며, 특정 규칙의 적용 순서를 대신 정하는 절차는 아닙니다.

담당자의 답변을 받으면 보류 사유가 해소됐는지 기록합니다. 설명이 부족하면 결과 칸을 임의로 허용으로 채우지 않고 미판정 상태를 유지합니다. 완료 표시는 요청을 보냈다는 사실이 아니라 대상별 판단 근거를 확보했는지에 따라 처리합니다.

크롤러 이름으로 제한한 결론

오픈에이아이 문서는 검색용 크롤러와 학습용 크롤러의 설정이 서로 독립적이라고 설명합니다. 또한 사용자 요청에 따른 방문에는 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다. 따라서 OAI-SearchBot의 항목을 읽은 결과는 그 크롤러에 대한 결론으로 작성합니다.

운영자가 요청하는 대상이 단순히 ‘AI 전체’라면 담당자는 판정에 앞서 조사할 크롤러 이름을 요구합니다. 검색용 접근을 조사할지, 학습용 수집의 제한을 조사할지 요청 목적도 함께 기재하도록 합니다. 서비스 이름만으로 작업을 시작하면 서로 다른 방문 목적을 한 결과에 섞을 수 있습니다.

결과 문구에는 서비스 전체의 차단 여부 대신 조사한 크롤러와 경로를 명시합니다. 이름이 비슷한 다른 크롤러의 상태는 별도 결과로 처리합니다. 조사하지 않은 대상은 결과표에서 제외하거나 조사 대상 아님으로 표시합니다.

전체 경로 차단 문구의 적용 범위

앤트로픽 문서는 ClaudeBot의 전체 사이트 차단 지시로 User-agent에 ClaudeBot을 지정하고 Disallow에 /를 사용하는 형태를 안내합니다. 차단하려는 하위 도메인마다 robots.txt 설정을 처리해야 한다고도 설명합니다. 이 형태는 특정 이름과 전체 경로 지시를 함께 읽어야 한다는 판단 기준을 보여 줍니다.

담당자는 현재 파일에 같은 형태가 있는지 대조하되, 파일 일부만으로 적용 결과를 확정하지 않습니다. 다른 관련 항목 때문에 해석이 불명확하면 앞에서 정한 기준에 따라 보류합니다. 전체 경로를 뜻하는 지시를 발견했다는 사실과 대상에 적용되는 규칙을 확정했다는 사실은 별도로 기록합니다.

이름이 지정된 차단 항목을 발견해도 이를 해당 서비스의 모든 크롤러에 대한 결론으로 확대하지 않습니다. 앤트로픽 문서는 학습용 수집, 검색, 사용자 요청을 지원하는 서로 다른 크롤러를 설명합니다. 업무 결과에는 발견한 이름을 유지하고 다른 이름의 상태를 추정해서 추가하지 않습니다.

설명 문구와 실제 지시의 분리

파일에 사람이 읽도록 남긴 설명 문구와 크롤러에 적용할 지시는 따로 기록합니다. ‘AI 접근 허용’이라는 설명만 읽고 판정을 끝내면 그 아래의 대상 이름이나 제한 경로를 누락할 수 있습니다. 담당자는 결론의 근거로 사용한 User-agent와 경로 지시를 명시합니다.

관리 화면의 설정 이름이나 작업 요청의 표현도 게시 파일의 지시와 같은 뜻이라고 단정하지 않습니다. 마케팅 담당자는 설정 화면의 문구를 보조 자료로 전달하고, 사이트 관리 담당자는 현재 파일에서 그 설명을 뒷받침하는 항목을 지정합니다. 설명과 지시가 일치하지 않으면 운영 의도를 추정하기보다 파일 해석에 필요한 답변을 요청합니다.

이어서 읽을 주제

병원 GEO 실행 순서는 접근 상태를 조사한 뒤 어떤 업무부터 진행할지 정해야 할 때 이어 읽을 주제입니다. 병원 GEO 기술 진단은 robots.txt 해석만으로 답하지 못한 기술 항목을 별도 진단 범위로 정리할 때 이어 읽을 주제입니다.