AI 크롤러 시점으로 페이지를 받아 보는 방법

AI 크롤러 시점의 점검 범위

사용자 에이전트는 요청 주체를 나타내는 식별 문자열입니다. 개발 담당자가 요청에 이 문자열을 지정하면 해당 문자열을 제시한 조건으로 페이지를 받아 올 수 있습니다. 문자열을 지정했다는 사실만으로 요청자가 실제 공식 크롤러라는 점이나 같은 방문 환경을 사용했다는 점까지 입증하지는 못합니다.

오픈에이아이는 제품의 자동 작업이나 사용자가 요청한 작업에 크롤러와 사용자 에이전트를 사용한다고 설명합니다. 공식 문서에서 검색용으로 설명하는 OAI-SearchBot을 대상으로 삼는다면, 개발 담당자에게 해당 이름만 전달하지 말고 공식 문서의 전체 식별 문자열을 요청 조건으로 지정하도록 요청합니다. 원문에는 예시 문자열의 버전이 변경될 수 있다고 안내되어 있으므로, 담당자는 사용한 문자열과 이를 읽은 시점을 기록합니다.

반환 자료별 판단 범위

받아 온 자료는 자료마다 답할 수 있는 질문이 다릅니다. 마케팅 담당자는 아래 기준으로 본문 누락 여부와 아직 결론을 내릴 수 없는 항목을 따로 기록합니다. 성공이나 실패라는 결과 이름만 전달받으면 어떤 설명을 읽을 수 있었는지 판단하기 어렵습니다.

본문 확인에서는 페이지의 용도를 설명하는 제목, 서비스나 상품에 관한 주요 설명, 이용 조건처럼 독자의 판단에 필요한 내용을 대상으로 정합니다. 단어 하나가 있다는 이유로 설명 전체가 전달되었다고 처리하지 않고, 그 단어와 연결된 문장이 함께 반환되었는지 대조합니다. 제목만 있고 상세 설명이 없으면 두 항목의 결과를 따로 기재합니다.

최종 판단은 특정 조건에서 필요한 설명을 받았는지에 한정합니다. 검색 노출이나 색인, AI 답변 인용은 이 요청의 완료 여부로 판정하지 않습니다. 개발 담당자에게는 결론 문장뿐 아니라 그 판단에 사용한 본문 자료도 함께 전달하도록 요청합니다.

공식 식별 문자열과 요청 자료

마케팅 담당자는 개발 담당자에게 요청하기 전에 대상 페이지의 주소와 공개하려는 설명 목록을 준비합니다. 주소는 실제 점검할 페이지로 특정하고, 설명 목록은 페이지에서 찾을 수 있는 문장이나 항목 이름으로 작성합니다. 사용자 에이전트 조건과 반환 자료는 다음 요청서에 함께 기재합니다.

공식 문자열에 포함된 요소는 담당자가 임의로 축약하지 않도록 요청합니다. 이 요청서는 사이트 전체 수집을 지시하는 문서가 아니므로 대상 페이지 외의 주소를 추가 탐색하는 작업은 포함하지 않습니다. 필요한 설명 목록도 해당 페이지에서 판단할 항목으로 한정합니다.

페이지 가져오기와 본문 판독 순서

진행 순서는 공식 요청 식별 문자열 확인, 해당 조건의 페이지 가져오기, 반환 본문과 한계 기록으로 정합니다. 개발 담당자는 요청 조건을 기록한 뒤 자료를 전달하고, 마케팅 담당자는 앞에서 정한 기준으로 설명의 존재 여부를 판독합니다.

1. 공식 문서에서 대상 크롤러의 용도와 전체 사용자 에이전트 문자열을 확인합니다. 개발 담당자는 사용할 문자열을 요청 기록에 그대로 기재합니다.
2. 지정한 조건으로 대상 페이지를 가져옵니다. 담당자는 받은 본문을 별도로 보관하고, 자바스크립트를 실행했는지와 실제 요청에 사용한 조건을 함께 기록합니다.
3. 마케팅 담당자는 필요한 설명 목록과 반환 본문을 대조합니다. 항목별로 포함, 일부 포함, 찾지 못함을 기재하고 판단에 사용한 문장도 기록합니다.

본문을 찾지 못한 항목은 곧바로 페이지에서 삭제된 정보로 처리하지 않습니다. 담당자는 반환 자료 안에 해당 설명이 없는 상태인지, 자료 자체를 받지 못한 상태인지 먼저 가립니다. 자료를 받지 못했다면 내용 누락 판정을 보류하고 요청 결과를 개발 담당자에게 전달합니다.

수정이 필요하면 마케팅 담당자는 누락된 설명과 원래 전달하려던 내용을 함께 전달합니다. 개발 담당자는 수정 뒤 같은 대상과 요청 조건으로 다시 받아 결과를 기록합니다. 이전 자료는 남겨 두고 수정 후 자료를 별도로 보관하여 어떤 설명이 추가되었는지 대조합니다.

화면과 반환 본문의 구별 기준

브라우저 화면에 표시된 설명이 반환 본문에도 들어 있다고 가정하면 누락 판정이 틀릴 수 있습니다. 마케팅 담당자는 화면에서 읽은 설명을 찾을 기준으로 사용하되, 결과 기록에는 실제 받은 자료에서 찾은 문장만 기재합니다. 화면을 캡처한 자료와 본문 자료는 같은 증거로 처리하지 않습니다.

구글은 페이지를 렌더링하는 과정에서 자바스크립트를 실행하고, 렌더링된 내용을 색인에 사용한다고 설명합니다. 구글의 자바스크립트 안내는 모든 크롤러가 이를 실행할 수 있는 것은 아니라는 점도 설명합니다. 이 설명을 근거로 특정 AI 크롤러의 실행 능력을 단정하지 말고, 개발 담당자가 수행한 작업의 실행 여부를 결과에 명시합니다.

자바스크립트를 실행하기 전 받은 본문과 실행 뒤 생성한 자료가 함께 있다면 이름을 다르게 지정합니다. 설명이 어느 자료에서 발견되었는지 항목마다 표시하고, 두 자료를 합쳐 하나의 반환 본문처럼 전달하지 않습니다. 실행 뒤 자료에만 존재하는 설명은 최초 응답에서 발견한 내용으로 기재하지 않습니다.

구글 가져오기 결과의 적용 범위

구글의 리치 결과 테스트 도움말은 도구가 구글 검사 도구의 사용자 에이전트로 페이지에 접근한다고 설명합니다. 도움말에서 페이지 가져오기는 해당 테스트가 페이지를 가져올 수 있는지를 나타내며, 크롤링 완료는 구글이 페이지에 접근할 수 있다는 의미로 안내합니다. 운영자는 이 결과를 해당 도구의 접근 결과로 기록합니다.

리치 결과 테스트 자료를 함께 전달한다면 도구 이름과 표시된 사용자 에이전트 유형을 기재합니다. 이를 공식 AI 크롤러 문자열로 요청한 자료의 대체 증거로 사용하지 않습니다. 결과 제목에도 어느 도구가 수행한 요청인지 명시하여 서로 다른 요청 기록이 섞이지 않게 합니다.

발췌 본문과 원본 보관 기준

읽기 편하게 추린 본문은 판독용 자료로 사용하고, 실제 반환된 원본과 따로 보관합니다. 담당자가 불필요하다고 판단한 부분을 삭제한 자료만 전달하면 주요 설명의 누락이 페이지 응답에서 발생했는지 편집 과정에서 발생했는지 가리기 어렵습니다. 추출하거나 생략한 부분이 있다면 그 범위를 함께 기록합니다.

반복되는 메뉴나 안내 문구를 제외할 때도 본문 경계를 어떤 기준으로 정했는지 남깁니다. 이용 조건이 하단 안내에 있다는 이유만으로 판독 대상에서 빠질 수 있으므로, 마케팅 담당자는 필요한 설명 목록과 발췌 범위를 대조합니다. 자료를 정리하는 편의 때문에 확인할 항목이 사라졌다면 원본에서 다시 판독합니다.

이어서 읽을 주제

병원 사이트 색인은 받아 온 본문을 읽는 판단과 검색 서비스가 페이지를 색인하는 판단의 차이를 이해하기 위해 이어 읽을 주제입니다. 업종에 따른 설명 항목보다 먼저 수집 자료와 색인 상태가 각각 무엇을 입증하는지 정리할 때 참고합니다.