직접 접근의 목적과 요청 유형
AI 검색 서비스가 사이트 원문에 직접 접근하는 경우에는 검색 결과를 위한 자동 크롤러의 수집과 사용자 질문에 따른 페이지 방문이 있습니다. 사용자 요청에 따른 방문은 자동 크롤링과 같은 방식으로 판단해서는 안 되며, 서비스가 설명하는 방문 목적과 해당 접근의 허용 조건을 따로 판단해야 합니다.
사이트 운영자는 접속한 프로그램을 모두 검색용 크롤러로 묶기 전에 공식 문서에서 무엇을 위해 방문하는지 읽어야 합니다. 검색 자료를 수집하는 접근인지, 질문에 답하기 위해 특정 페이지를 가져오는 접근인지에 따라 개발 담당자에게 요청할 조사 내용이 달라집니다. 방문 이름에 검색 서비스 이름이 들어 있다는 사실만으로는 목적을 정할 수 없습니다.
| 직접 접근 유형 | 공식 문서에 나온 방문 목적 | 자동 크롤링 여부 |
|---|---|---|
| 퍼플렉시티의 PerplexityBot | 검색 결과에서 사이트를 소개하고 연결 | 검색용 자동 수집에 해당 |
| 퍼플렉시티의 Perplexity-User | 사용자 질문에 답할 때 페이지를 가져오는 행동 지원 | 웹 크롤링에 사용하지 않는다고 설명 |
| 오픈에이아이의 OAI-SearchBot | 챗GPT 검색 기능의 검색 결과에 사이트를 표시 | 검색용 크롤러에 해당 |
표의 방문 목적은 각 서비스가 공식 문서에서 밝힌 용도입니다. 운영자는 이 목적을 근거로 접근 종류를 분류하되, 실제 사이트에서 요청이 성공했는지는 개발 담당자가 확보한 기록으로 판단해야 합니다. 공식 설명과 사이트의 접속 기록은 서로 다른 질문에 답하는 자료입니다.
검색 자료 수집과 질문에 따른 방문
퍼플렉시티는 PerplexityBot을 검색 결과에 사이트와 연결 정보를 제공하기 위한 크롤러로 설명합니다. 또한 사이트의 robots.txt에서 이 크롤러를 허용하고, 공식적으로 공개한 IP 범위의 요청을 허용하도록 권장합니다. 운영자는 검색 자료 수집을 원하는 페이지 목록과 현재 접근 정책을 개발 담당자에게 전달합니다.
퍼플렉시티는 Perplexity-User가 사용자 행동을 지원하며, 질문이 들어오면 답변에 필요한 웹페이지를 방문할 수 있다고 설명합니다. 이 접근은 웹 크롤링에 사용하지 않으며, 사용자 요청으로 페이지를 가져오기 때문에 일반적으로 robots.txt 규칙을 따르지 않는다고 밝힙니다. 질문이 있을 때 방문할 수 있다는 설명을 모든 질문마다 사이트를 방문한다는 뜻으로 확대해서는 안 됩니다.
오픈에이아이는 자사 제품의 웹 접근이 자동으로 이루어지거나 사용자 요청으로 시작될 수 있다고 설명합니다. 검색용 OAI-SearchBot의 목적은 챗GPT 검색 결과에 사이트를 표시하는 것입니다. 이러한 설명을 적용할 때는 서비스 전체의 접근 방식을 하나로 정하지 말고, 조사 대상인 방문 주체의 용도를 지정해야 합니다.
방문 목적부터 허용 조건까지의 순서
운영자는 공식 문서의 방문 목적, 자동 수집인지 사용자 요청인지, 해당 접근의 허용 조건 순으로 조사 요청을 준비합니다. 원하는 결론을 먼저 정하고 설정 변경을 요구하면 서로 다른 요청을 같은 대상으로 처리할 수 있습니다. 개발 담당자가 어떤 접근을 조사해야 하는지 알 수 있도록 방문 주체의 이름과 대상 페이지를 함께 기재합니다.
- 공식 문서에서 방문 주체의 이름과 용도를 추출합니다. 문서를 읽은 날짜와 목적을 설명하는 문구의 요지를 기록합니다.
- 자동 수집과 사용자 요청 가운데 어느 유형인지 기재합니다. 목적이 불명확하면 임의로 분류하지 않고 설명이 부족한 항목으로 남깁니다.
- 해당 유형에 적용되는 접근 조건을 개발 담당자에게 전달합니다. 현재 상태 조사와 설정 변경 요청은 별도 작업으로 나눕니다.
운영자가 준비할 자료에는 공개하려는 페이지 목록, 서비스별 공식 설명의 요약, 현재 알고 있는 제한 사항을 포함합니다. 접속 기록을 직접 읽기 어렵다면 개발 담당자에게 필요한 기록의 추출을 요청합니다. 자료가 없는 항목은 추정으로 채우지 않고 미확인 상태로 표시합니다.
| 확인할 접근 | 운영자가 확인할 내용 | 개발 담당자에게 요청할 내용 |
|---|---|---|
| 검색용 자동 수집 | 검색 자료로 공개하려는 페이지와 방문 주체 | 해당 크롤러에 적용되는 robots.txt와 요청 허용 상태 |
| 사용자 질문에 따른 방문 | 서비스가 설명한 방문 조건과 대상 페이지 | 해당 요청이 사이트에 도달했는지와 서버 응답 |
| 퍼플렉시티의 접근 식별 | 조사 대상이 Bot인지 User인지 | 사용자 에이전트와 공식 IP 범위를 함께 대조한 결과 |
| 판정 자료가 부족한 접근 | 빠진 공식 설명이나 대상 정보 | 판정을 위해 추가로 필요한 기록과 조사 범위 |
개발 요청서와 완료 기록
개발 요청서에는 조사 대상, 운영자가 원하는 공개 범위, 답을 받아야 할 질문을 기재합니다. 예를 들어 특정 방문 주체의 요청이 대상 페이지에 도달했는지와 어떤 응답을 받았는지는 기술 담당자가 조사할 질문입니다. 반면 어떤 자료를 외부에 공개할지는 운영자가 먼저 결정해야 합니다.
퍼플렉시티는 접근을 허용할 때 사용자 에이전트 문자열과 공식 IP 범위를 함께 대조하도록 안내합니다. 개발 담당자는 이 안내를 적용할 경우 사용한 IP 자료의 조회 시점과 조사한 요청을 기록합니다. 운영자는 완료 보고에서 실제로 조사한 페이지, 판정 결과, 남은 미확인 항목을 받습니다.
조사 결과와 변경 결과는 별도로 기록합니다. 요청이 거절됐다는 사실을 찾은 것과 접근 설정을 수정한 것은 완료 조건이 다르기 때문입니다. 변경이 필요하면 개발 담당자가 수정 대상과 재시험 방법을 제시한 뒤 운영자가 공개 범위에 맞는지 승인합니다.
사용자 요청 방문의 규칙 해석
사용자 요청으로 시작된 방문에 자동 크롤러의 규칙을 그대로 적용하는 해석은 피해야 합니다. 퍼플렉시티의 Perplexity-User처럼 공식 문서가 별도의 동작을 설명하는 경우에는 그 설명에 따라 판단합니다. 다른 서비스에도 같은 동작이 적용된다고 추정해서는 안 됩니다.
robots.txt에 검색용 크롤러를 제한하는 내용이 있다는 이유만으로 사용자 요청 방문도 차단된다고 결론 내리지 않습니다. 먼저 조사 대상의 공식 설명에서 이 파일을 어떻게 취급하는지 읽고, 실제 요청 결과와 연결해야 합니다. 문서가 설명하지 않는 부분은 플랫폼 규칙으로 단정하지 않고 사이트의 응답 기록으로 조사할 항목에 포함합니다.
사용자 요청 방문이 robots.txt를 일반적으로 따르지 않는다는 설명은 사이트의 모든 접근 제한을 통과한다는 뜻도 아닙니다. 퍼플렉시티는 웹 애플리케이션 보안 장비를 사용하는 사이트에서 자사 접근을 명시적으로 허용해야 할 수 있다고 안내합니다. 운영자는 특정 제한을 무조건 해제하도록 요구하기보다 해당 방문 주체의 접근 상태를 조사하도록 요청합니다.
방문 기록과 판정의 한계
방문 기록에서 요청이 발견되면 그 요청이 어떤 페이지를 대상으로 했고 어떤 응답을 받았는지 기록합니다. 방문 주체의 공식 목적을 기재하더라도 접속 기록만으로 사용자의 실제 질문 내용을 재구성하지는 않습니다. 질문 정보가 없다면 방문을 유발한 질문은 알 수 없는 항목으로 남겨야 합니다.
검색용 접근과 사용자 요청 접근 가운데 한쪽만 성공했다면 성공한 유형에 대해서만 결과를 보고합니다. 다른 유형을 시험하지 않았는데 사이트 전체가 AI 검색에 접근 가능하다고 표현해서는 안 됩니다. 완료 기록에는 판정이 적용되는 방문 주체와 페이지 범위를 명시합니다.
방문 흔적을 찾지 못한 경우에도 차단으로 즉시 판정하지 않습니다. 사용자 질문에 따라 페이지를 방문할 수 있다는 공식 설명만으로는 조사 기간에 방문이 발생했다고 판단할 수 없기 때문입니다. 개발 담당자에게 기록의 보존 범위와 조사 대상에 해당하는 요청이 있었는지를 함께 묻습니다.
자주 묻는 질문
공식 문서에 접속 주체의 이름이 없으면 어떻게 합니까?
이름이 일치하지 않는 요청은 알려진 검색용 접근으로 임의 분류하지 않습니다. 개발 담당자에게 식별 가능한 요청 정보의 정리를 요청하고, 서비스의 공식 지원 경로에서 용도를 설명받을 수 있는지 조사합니다. 설명을 확보하기 전에는 분류가 미정인 요청으로 관리합니다.
사이트 운영 권한이 없어도 조사 요청을 할 수 있습니까?
설정 권한이 없어도 공개 대상과 조사 목적을 정리하는 작업은 할 수 있습니다. 사이트 관리 조직에 담당자를 지정해 달라고 요청하고, 기술 자료를 열람할 수 있는 범위와 결과를 받을 경로를 정합니다. 직접 설정을 수정할 권한까지 필요한지는 조사 결과 이후 결정합니다.
접속 기록을 공유할 때 개인정보는 어떻게 처리합니까?
조사에 필요한 항목만 추출하고 개인정보나 인증 정보가 포함됐는지 먼저 검사합니다. 외부 담당자에게 전달한다면 조직의 자료 반출 기준에 따라 삭제하거나 가린 사본을 사용합니다. 원본 기록을 통째로 전달하는 방식은 피합니다.
시험을 위해 비공개 자료를 공개해도 괜찮습니까?
접근 시험만을 이유로 비공개 자료의 공개 범위를 넓히지 않습니다. 개발 담당자와 공개 가능한 시험 자료를 준비하고, 실제 자료와 어떤 접근 조건이 같은지 문서화합니다. 시험 환경과 운영 환경의 차이도 결과에 함께 기재합니다.
외부 개발 업체에 맡겼다면 어떤 결과물을 받아야 합니까?
판정 문장만 받기보다 조사 대상 목록, 사용한 기술 자료, 요청과 응답의 요약을 받습니다. 설정을 변경했다면 변경 내역과 재시험 결과도 요청합니다. 이후 내부 담당자가 같은 조건으로 다시 조사할 수 있도록 자료의 보관 위치와 열람 권한을 정합니다.