플랫폼별 공식 안내 위치
주요 AI 크롤러 이름은 오픈에이아이·앤트로픽·퍼플렉시티의 공식 크롤러 안내에서 확인하고, 구글은 검색 센터의 「구글의 일반 크롤러」 목록을 참고합니다. 요청에 표시되는 이름과 설정에 쓰는 이름은 해당 문서의 설명에 따라 구분하며, 목록이 모든 AI 크롤러를 빠짐없이 담았다고 단정하지 않습니다.
사용자 에이전트는 요청자가 자신을 표시하는 이름입니다. 문서에서는 짧은 봇 이름과 여러 정보가 이어진 요청 문자열이 함께 등장할 수 있습니다. 담당자는 이름이 있다는 사실만 기재하지 말고, 그 이름이 어느 항목에 실렸는지까지 읽어야 합니다.
| 플랫폼 | 공식 안내 위치 또는 탐색 후보 | 이름을 찾을 항목과 판단 조건 |
|---|---|---|
| 오픈에이아이 | 공식 크롤러 개요 | 사용자 에이전트 이름과 요청 문자열 예시 |
| 앤트로픽 | 공식 도움말의 웹 수집 안내 | 봇 목록의 이름과 용도 설명 |
| 퍼플렉시티 | 퍼플렉시티 크롤러 안내 | 사용자 에이전트 이름과 전체 요청 문자열 |
| 구글 | 검색 센터의 「구글의 일반 크롤러」 | 요청에 표시되는 문자열과 robots.txt 설정용 토큰 |
표는 이름을 찾기 시작할 위치를 정리한 것이며, 각 문서에 실린 이름 전체를 옮긴 명단은 아닙니다. 검색 결과에 등장하는 요약문이나 다른 사이트의 통합 목록은 공식 문서를 찾아가는 데만 활용합니다. 실제 이름을 기록할 때는 운영 주체가 게시한 본문으로 돌아가야 합니다.
문서 제목과 수록 범위의 판단
오픈에이아이의 공식 크롤러 개요에는 OAI-SearchBot과 OAI-AdsBot 등의 이름, 설명, 요청 문자열이 실려 있습니다. 같은 개요에 이름이 함께 있다는 이유로 모두 같은 조건에서 방문한다고 해석해서는 안 됩니다. 이름 목록을 만드는 단계에서는 해당 이름과 설명이 연결된 상태를 유지합니다.
앤트로픽은 공식 웹 수집 안내에서 사용하는 봇과 각 용도를 설명합니다. 담당자는 도움말 제목에 웹 수집이나 차단이라는 말이 있더라도 본문의 봇 목록까지 읽어 이름을 추출합니다. 제목만으로 문서에 담긴 대상 전체를 추정하지 않습니다.
퍼플렉시티와 구글도 공식 안내를 찾은 뒤 이름이 실제로 기재된 항목을 기준으로 정리합니다. 이름이 검색되지 않거나 설명이 충분하지 않으면 기억에 의존해 빈칸을 채우지 않습니다. 내부 목록에는 확인한 대상과 아직 이름을 확정하지 못한 대상을 따로 표시합니다.
공식 안내를 읽는 순서
마케팅 담당자는 조사할 플랫폼 명칭과 현재 보유한 이름 목록을 준비합니다. 사이트 운영자는 기존 문서에 기재된 이름의 출처를 전달하고, 출처가 없는 항목에는 그 사실을 표시합니다. 이 단계에서 접근 허용 여부를 결정하거나 설정 변경을 요청할 필요는 없습니다.
- 플랫폼의 공식 크롤러 안내를 찾습니다. 서비스 소개나 일반 도움말에서 끝내지 말고, 요청자 이름을 설명하는 본문까지 이동합니다.
- 이름과 표기 항목을 읽습니다. 짧은 명칭인지 요청 문자열인지, 설정에 쓰도록 명시한 값인지 항목 제목과 함께 기재합니다.
- 목록의 수록 범위를 읽습니다. 문서가 어떤 제품이나 방문 유형을 다루는지 기록하고, 설명되지 않은 범위는 미확인 상태로 남깁니다.
자료를 전달하는 담당자는 문서 제목, 이름이 나온 항목명, 읽은 날짜를 함께 정리합니다. 이름만 복사하면 다음 담당자가 같은 표기를 다시 찾기 어렵습니다. 발췌문을 전달할 때도 항목 제목과 연결된 설명을 함께 보관합니다.
목록에 남길 항목과 읽는 기준
| 목록의 확인 항목 | 쉬운 설명 | 읽을 때의 주의점 |
|---|---|---|
| 이름과 항목 제목 | 어떤 이름을 무엇이라고 소개했는지 기록합니다. | 운영자가 만든 별칭을 공식 표기와 섞지 않습니다. |
| 요청 문자열 | 요청자가 자신을 표시할 때 사용하는 문자열입니다. | 긴 예시 전체와 그 안의 봇 이름을 같은 값으로 취급하지 않습니다. |
| 설정용 토큰 | 설정의 대상을 지정하는 식별 값입니다. | 문서에 명시된 값인지 읽고, 짧은 이름을 임의로 전용하지 않습니다. |
| 수록 범위 | 문서가 설명하는 대상의 범위입니다. | 목록 밖의 이름을 곧바로 존재하지 않는 것으로 처리하지 않습니다. |
목록 양식은 플랫폼마다 다른 설명을 억지로 같은 형태로 채우기 위한 것이 아닙니다. 특정 항목을 공식 본문에서 찾지 못했다면 ‘공식 안내에서 미확인’이라고 기재합니다. 빈칸을 추정값으로 채우면 나중에 공식 명칭과 내부 판단을 가리기 어려워집니다.
최종 전달 자료에는 담당자가 읽은 범위도 짧게 남깁니다. 예를 들어 크롤러 개요의 이름 항목까지만 읽었다면 별도 도움말까지 조사한 것으로 표시하지 않습니다. 다른 부서가 추가 자료를 요청하면 부족한 항목을 지정해 이어서 조사할 수 있습니다.
요청 문자열을 설정 이름으로 옮기는 오류
긴 요청 문자열을 발견했다고 해서 그 전체가 설정에 쓰는 이름인 것은 아닙니다. 요청 문자열에는 봇 이름 외의 정보가 함께 들어갈 수 있으므로, 이름 목록에는 원래 항목의 성격을 유지해야 합니다. 설정용 값이 필요해지는 시점에는 그 용도로 명시된 항목을 별도로 읽습니다.
오픈에이아이의 공식 개요는 일부 요청 문자열을 예시로 제시하며 버전이 달라질 수 있다고 설명합니다. OAI-SearchBot의 경우 규칙 파일을 가져오는 요청에 별도 표시가 더해질 수 있다는 설명도 있습니다. 운영자는 예시 문자열을 변하지 않는 단일 이름으로 저장하기보다, 봇 이름과 예시 문자열을 다른 칸에 기재합니다.
구글 검색 센터의 일반 크롤러 목록은 HTTP 요청에 표시되는 사용자 에이전트 문자열과 robots.txt의 User-agent 줄에 쓰는 토큰을 나누어 보여 주고, 일부 크롤러에는 토큰이 두 개 이상 있다고 설명합니다. 담당자는 두 값을 다른 칸에 기록합니다. 문자열을 짧게 줄이거나 서비스 이름을 덧붙여 설정용 명칭을 만들지 않으며, 공식 문서에서 해당 용도의 값을 찾지 못했다면 임의로 결정하지 않습니다.
이름 수집과 목록 완성의 차이
공식 안내에서 이름을 찾았다는 판단은 그 항목에 대해서만 내립니다. 특정 플랫폼 문서를 읽었다고 해서 관련 제품의 모든 요청자가 수록됐다고 확대해서는 안 됩니다. 내부 문서 제목도 ‘전체 AI 크롤러 명단’보다 ‘공식 안내에서 확인한 이름 목록’처럼 조사 범위를 드러내는 표현을 사용합니다.
여러 공식 문서에서 같은 이름이 나오면 이름 자체를 중복 등록하기 전에 설명 대상이 같은지 대조합니다. 한쪽은 개요이고 다른 쪽은 특정 기능 안내일 수 있으므로, 문서의 개수만으로 서로 다른 봇이라고 판단하지 않습니다. 설명이 연결되지 않으면 하나로 합치지 말고 출처별 항목을 유지합니다.
검색용 별칭과 공식 표기의 분리
내부 검색을 편하게 하려고 만든 한글 별칭은 공식 이름을 대신하지 않도록 관리합니다. 서비스 이름, 팀에서 부르는 이름, 공식 본문의 표기를 한 칸에 섞으면 담당자가 전달 과정에서 일부를 생략하기 쉽습니다. 별칭이 필요하면 설명 칸에 기재하고 원래 표기는 그대로 유지합니다.
문서에서 복사한 이름의 하이픈이나 대소문자를 편집 과정에서 임의로 정리하지 않습니다. 표 너비 때문에 이름이 줄에 걸리더라도 단어 사이에 공백을 새로 넣지 않습니다. 사람이 읽기 쉬운 설명은 별도로 작성하고, 이름 칸은 출처의 표기와 대조할 수 있게 보존합니다.
자주 묻는 질문
공식 안내를 찾을 검색어는 어떻게 정합니까?
플랫폼 이름에 ‘크롤러’, ‘봇’, ‘사용자 에이전트’처럼 찾으려는 항목을 더해 검색합니다. 검색 결과 제목이 비슷하더라도 게시 주체와 본문 내용을 읽은 뒤 후보 문서로 선택합니다. 일반 서비스 소개만 나오면 검색어를 요청자 이름과 관련된 표현으로 좁힙니다.
공식 문서가 열리지 않으면 이름을 삭제합니까?
일시적으로 문서에 접근하지 못했다는 이유만으로 기존 이름을 삭제하지 않습니다. 기존 출처와 마지막으로 읽은 시점을 남기고 현재 본문을 읽지 못한 상태라고 기재합니다. 문서가 다시 열리거나 대체 공식 안내를 찾은 뒤 존속 여부를 판단합니다.
이름 목록을 외부 협력사와 공유해도 됩니까?
공개 공식 안내에서 추출한 명칭과 회사 내부 자료를 먼저 분리합니다. 공유본에는 업무에 필요한 이름과 출처 설명만 담고, 내부 시스템 명칭이나 담당자 정보는 회사의 자료 공유 기준에 따라 처리합니다. 공개 명칭을 담았다는 이유로 문서 전체를 공개용으로 취급하지 않습니다.
공식 안내의 변경 소식을 받을 수 있습니까?
오픈에이아이의 크롤러 개요는 해당 페이지의 변경 소식을 받는 RSS 구독을 안내합니다. 다른 플랫폼까지 같은 방식을 제공한다고 가정하지 말고 각 공식 문서의 알림 안내를 읽습니다. 알림 수단을 찾지 못하면 담당 업무에 맞춰 문서를 다시 읽는 절차를 정합니다.
내부 목록에서 없어진 이름은 바로 지웁니까?
현재 문서에서 찾지 못한 이름은 삭제 전에 이전 출처와 당시 설명을 대조합니다. 문서 이동이나 편집 변경 가능성을 배제하지 않은 상태에서 폐기된 이름이라고 단정하지 않습니다. 사용 중인 목록에서 제외하더라도 변경 이유를 남겨 과거 자료를 해석할 수 있게 합니다.