모의 요청의 재현 범위
테스트 환경에서는 공개된 사용자 에이전트 문자열을 넣은 요청에 서버가 어떻게 응답하는지 흉내 냅니다. 이 결과를 실제 AI 크롤러의 출발 IP·방문 방식·robots.txt 적용까지 재현한 결과로 판단해서는 안 됩니다. 운영자는 개발 담당자에게 시험할 요청 조건을 전달하고, 결과를 어디까지 해석할지 함께 정합니다.
사용자 에이전트는 요청자가 서버에 보내는 식별 문자열입니다. 모의 요청 도구에 이 문자열을 지정하면 해당 문자열이 포함된 요청을 서버로 보낼 수 있습니다. 문자열을 입력한 사람이 실제 크롤러가 되는 것은 아니므로, 시험 이름도 ‘AI 크롤러 방문 성공’ 대신 ‘식별 문자열을 지정한 서버 응답 시험’으로 기재합니다.
퍼플렉시티는 웹 보안 필터 설정에서 사용자 에이전트 문자열과 공개 IP 조건을 함께 사용하도록 안내합니다. 개발 담당자의 컴퓨터에서 보낸 요청은 식별 문자열이 같더라도 출발 IP 조건이 다를 수 있습니다. 따라서 문자열에 따른 처리만 시험했는지, 다른 접근 조건도 포함했는지를 결과에 명시해야 합니다.
시험 결과의 판단 기준
모의 요청 조건은 담당자가 그대로 실행할 수 있을 만큼 구체적으로 작성합니다. 테스트할 문서와 요청 방식을 정한 뒤, 식별 문자열 이외의 조건을 변경했는지도 기록합니다. 아래 항목은 플랫폼이 정한 공통 절차가 아니라 운영자와 개발 담당자가 시험 범위를 합의하기 위한 자료입니다.
| 모의 요청 조건 | 담당자에게 요청할 내용 | 재현하지 못하는 조건 |
|---|---|---|
| 시험 대상 | 테스트 환경과 대상 문서 지정 | 운영 환경의 동일한 응답 |
| 식별 문자열 | 공식 문서의 전체 문자열 사용 | 실제 크롤러의 신원 |
| 요청 출발 지점 | 시험 장비와 네트워크 기록 | 플랫폼 공개 IP에서의 접근 |
| 요청 처리 조건 | 인증·이동 처리·추가 헤더 명시 | 실제 방문 방식과 규칙 적용 |
테스트 환경에만 적용한 인증이나 접근 제한이 있다면 요청서에 별도로 기재합니다. 개발 담당자는 시험을 위해 추가한 조건과 원래 환경의 조건을 나눠 보고합니다. 운영자는 응답을 받았다는 사실과 실제 방문에 필요한 조건을 충족했다는 판단을 혼동하지 않아야 합니다.
robots.txt 규칙의 로컬 시험은 파일 내용을 규칙 해석 도구에 넣어 판정하는 작업입니다. 서버 응답 시험은 요청을 보낸 뒤 서버가 반환한 내용을 수집하는 작업이므로 두 시험의 입력과 결과가 다릅니다. 서버가 문서를 반환했더라도 로컬 규칙 판정이 허용이라는 결론으로 이어지지는 않습니다.
담당자에게 전달할 자료와 순서
마케팅 담당자는 시험 목적과 대상 문서 목록을 준비하고, 개발 담당자는 실행 조건과 결과 자료를 정리합니다. 목적은 ‘AI 접근 가능 여부’처럼 넓게 쓰지 않고 ‘지정한 식별 문자열의 요청에 대상 문서가 어떤 응답을 반환하는지’로 작성합니다. 규칙을 수정할 계획이 있다면 현재 파일과 수정안을 서로 다른 시험 입력으로 전달합니다.
- 대상 환경과 문서를 지정합니다. 서비스 공식 문서에서 선택한 전체 사용자 에이전트 문자열과 자료를 읽은 날짜를 함께 전달합니다.
- 개발 담당자가 모의 요청을 실행해 서버 응답을 수집합니다. robots.txt 파일은 별도의 로컬 시험에 사용하고 적용한 도구와 입력 조건을 기록합니다.
- 담당자가 시험하지 못한 조건을 표시합니다. 운영자는 완료한 시험과 미시험 항목을 나눈 결과표를 받은 뒤 후속 작업을 정합니다.
개발 담당자에게는 요청 시각, 요청 방식, 인증 사용 여부, 이동 응답의 처리 방식을 함께 기록하도록 요청합니다. 응답 자료에는 상태 코드와 헤더, 반환된 본문의 성격을 포함합니다. 연결 실패는 응답 자료와 별도로 남겨 서버가 반환한 오류와 혼동하지 않도록 합니다.
서버 응답과 규칙 시험의 결과표
구글은 HTTP 상태 코드가 서버의 요청 응답 과정에서 생성된다고 설명합니다. 서버 응답이 없는 연결 실패를 특정 상태 코드로 대신 기재하면 시험 결과가 달라집니다. 담당자는 응답을 수신했는지부터 판정하고, 수신했다면 어떤 자료를 반환했는지 기록합니다.
| 시험 대상 | 확인할 결과 | 결과 해석의 한계 |
|---|---|---|
| 문서 요청 | 상태 코드·응답 헤더·본문 성격 | 실제 크롤러의 방문 성공은 미입증 |
| 이동 응답 | 이동 대상과 도구의 추적 여부 | 플랫폼의 이동 처리를 재현하지 않음 |
| 연결 과정 | 응답 수신 여부와 실패 메시지 | 응답 없이 상태 코드를 정할 수 없음 |
| robots.txt 로컬 규칙 | 입력 문서 경로의 허용·차단 판정 | 파일 공개 접근과 타 플랫폼 적용은 별도 |
구글은 구글 검색에서도 사용하는 오픈소스 robots.txt 라이브러리로 컴퓨터에서 파일을 시험할 수 있다고 안내합니다. 개발 담당자는 이 도구를 사용했다면 결과에 구글 규칙 해석을 시험했다는 범위를 표시합니다. 다른 AI 서비스까지 같은 판정으로 처리하지 말고 해당 서비스의 설명을 별도로 확보합니다.
로컬 시험 자료에는 파일 사본, 판정에 사용한 크롤러 식별값, 문서 경로를 함께 보관합니다. 전체 사용자 에이전트 문자열을 보내는 요청과 규칙 도구에 입력하는 값은 담당자가 도구의 입력 형식에 맞춰 각각 설정합니다. 결과표에는 각 시험에 실제로 사용한 값을 기재합니다.
재현한 조건과 미시험 항목의 기록
점검 기록은 시험 결과만 담지 말고 그 결과를 만든 조건까지 포함해야 합니다. 각 기록을 ‘입력 조건’, ‘관찰 결과’, ‘미시험 항목’으로 나누면 운영자가 후속 작업의 대상을 가릴 수 있습니다. 성공이나 실패라는 표시만 남기지 말고 응답 자료를 받은 사실과 판단의 범위를 문장으로 기재합니다.
입력 조건에는 환경 이름, 대상 문서, 식별 문자열, 실행 도구, 추가한 인증이나 헤더를 기록합니다. 관찰 결과에는 서버가 반환한 자료와 로컬 규칙 판정 자료를 각각 연결합니다. 미시험 항목에는 실제 출발 IP, 플랫폼의 방문 방식, 운영 환경에서의 처리처럼 이번 시험에 포함하지 않은 조건을 작성합니다.
서버 응답 시험과 규칙 시험의 결과가 다르다고 해서 어느 한쪽을 즉시 오류로 처리하지는 않습니다. 두 시험은 서로 다른 질문에 답하므로, 개발 담당자는 먼저 각 입력이 의도한 조건과 일치하는지 검증합니다. 운영자는 결과의 일치 여부보다 시험 대상과 해석 범위를 정확하게 기록했는지를 승인 기준으로 삼습니다.
설정 변경 전후의 기록 연결
설정을 변경한 뒤에는 같은 입력으로 다시 실행한 결과를 이전 기록과 연결합니다. 식별 문자열과 인증 조건을 동시에 변경하면 응답 차이를 어느 변경과 연결할지 판단하기 어렵습니다. 개발 담당자는 가능한 범위에서 변경 항목을 따로 시험하고, 함께 변경해야 했다면 그 사유를 기록합니다.
파일 수정안을 로컬에서 시험했다면 결과 제목에 수정안이라는 상태를 명시합니다. 아직 서버에 반영하지 않은 파일의 허용 판정을 현재 서버 설정의 결과로 기재하면 담당자 사이에 전달 오류가 생깁니다. 운영자는 시험 파일과 실제 반영 파일의 이름 또는 내부 버전 표시를 대조한 뒤 반영 여부를 정합니다.
테스트 환경에서 운영 환경으로 설정을 옮길 때는 미시험 항목 중 무엇이 남는지 인계 자료에 포함합니다. 테스트 환경의 웹 보안 필터 예외나 인증 조건이 운영 환경에도 존재하는지는 배포 담당자가 별도로 판단합니다. 시험 종료 기록에는 기술적으로 재현하지 못한 항목과 이번 요청에서 제외한 항목을 서로 다른 상태로 표시합니다.
본문 검사 기준의 사전 지정
응답 본문의 합격 기준은 시험 전에 지정하는 편이 적절합니다. 상태 코드만 수집하면 로그인 안내나 접근 제한 안내가 반환됐을 때도 필요한 문서를 받았다고 처리할 수 있습니다. 마케팅 담당자는 대상 문서에서 반드시 전달되어야 하는 제목이나 안내 문구를 개발 담당자에게 지정합니다.
개발 담당자는 해당 내용의 포함 여부를 기록하되, 문자열 일치만으로 전체 콘텐츠가 정상이라고 판정하지 않습니다. 공통 머리말이나 하단 안내에도 같은 문구가 있을 수 있으므로 대상 문서의 본문을 가릴 수 있는 항목을 선택합니다. 문서가 개편되면 이 검사 항목도 변경하고 적용 시점을 기록합니다.
자주 묻는 질문
전체 식별 문자열 대신 크롤러 이름만 넣어도 됩니까?
공개된 전체 문자열을 재현하려는 시험이라면 이름만 입력한 결과로 대신하지 않습니다. 서버 설정이 일부 문자열을 조건으로 사용한다면 축약한 입력도 별도 시험으로 추가할 수 있습니다. 두 결과에는 실제로 보낸 문자열을 각각 기재합니다.
로그인이 필요한 테스트 환경에서도 시험할 수 있습니까?
개발 담당자가 시험용 인증 조건을 명시하면 그 조건으로 서버 응답을 시험할 수 있습니다. 인증 정보를 추가한 요청은 인증 정보가 없는 요청과 별도 항목으로 기록합니다. 공유 자료에는 비밀번호나 세션 값을 그대로 포함하지 않습니다.
모의 요청을 위해 웹 보안 필터를 전체 해제해야 합니까?
전체 해제를 시험의 기본 조건으로 정할 필요는 없습니다. 설정 변경이 필요하면 개발 담당자가 변경 목적과 영향을 정리하고 관리자의 승인을 받도록 합니다. 변경 전후의 설정과 시험 종료 후 처리할 내용을 기록합니다.
식별 문자열을 지정하지 않은 요청도 함께 실행해야 합니까?
문자열 지정 여부에 따른 응답 차이를 조사하려는 목적이라면 함께 실행할 수 있습니다. 이때 대상 문서와 인증 등 다른 조건은 동일하게 유지하는 편이 적절합니다. 조건을 통제할 수 없었다면 응답 차이의 원인을 단정하지 않습니다.
외부 개발 업체에는 시험 자료를 어느 범위까지 전달합니까?
시험 실행에 필요한 대상 목록과 요청 조건, 기대하는 결과 형식을 우선 전달합니다. 내부 문서나 개인정보가 포함된 본문이 필요하다면 접근 권한과 공유 범위를 먼저 정합니다. 결과를 회수할 때도 민감한 헤더 값과 인증 자료는 제외하도록 요청합니다.