사이트 이전 뒤 AI 크롤러 접근 재확인

이전 뒤 재확인할 접근 설정

주소를 그대로 유지한 호스팅 이전도 재확인 대상입니다. 운영자가 이전 전에 저장한 설정만으로 결론을 내리면 새 서버나 보안 서비스에 적용된 제한을 놓칠 수 있습니다. 현재 공개 사이트가 사용하는 파일과 설정을 기준으로 작업을 시작합니다.

구글 검색 센터는 이전을 시작할 때 새 사이트 사본의 임시 크롤링 차단과 색인 차단을 제거하도록 안내합니다. 운영자는 공개할 콘텐츠에 남은 개발용 제한을 찾되, 비공개 자료를 보호하려고 유지한 제한까지 일괄 삭제하지 않도록 공개 범위를 먼저 정합니다.

크롤링 제한과 색인 제한의 차이

robots.txt의 크롤링 제한과 noindex의 색인 제한은 서로 다른 항목으로 관리합니다. 구글 검색 센터는 테스트 사이트의 색인 생성을 막는 방법으로 HTML 또는 HTTP 헤더의 noindex를 안내합니다. 따라서 운영자는 페이지가 열리는지와 개발 중 추가한 색인 제한이 남았는지를 각각 담당자에게 묻습니다.

브라우저에서 본문을 읽을 수 있다는 결과만으로 크롤러 접근을 승인하지 않습니다. 직원에게만 허용한 접속 환경이나 로그인 상태가 시험 결과에 영향을 줄 수 있기 때문입니다. 담당자는 일반 공개 요청과 내부 시험 요청의 조건을 기록하고, 운영자는 어떤 조건에서 얻은 결과인지 대조합니다.

구글의 이전 안내는 새 사이트에서 제거할 임시 제한을 찾는 근거로 사용합니다. 그 안내에 나온 구글봇의 방문 조건이나 이전 완료 판단을 AI 플랫폼에도 적용하지는 않습니다. 검색용 AI 크롤러는 해당 서비스의 접근 안내와 새 환경의 요청 기록을 근거로 따로 판단합니다.

담당자별 준비 자료와 실행 순서

운영자는 공개할 페이지 목록, 이전 전후의 호스팅 변경 내역, 개발 중 사용한 제한 목록을 준비합니다. 개발 담당자는 현재 배포된 robots.txt와 페이지 응답 자료를 준비하고, 보안 담당자는 새 환경에 적용된 접근 정책을 정리합니다. 설정을 변경한 사람과 요청 기록을 조회할 사람이 다르면 두 담당자를 함께 지정합니다.

1. 운영자가 공개 범위를 정하고 개발 담당자가 새 사이트의 개발용 차단 잔존 여부를 조사합니다.
2. 개발 담당자가 검색용 AI 크롤러의 robots.txt 규칙을 읽고 보안 담당자가 공개 IP 범위 요청 허용 상태를 조사합니다.
3. 담당자가 새 운영 환경의 실제 요청 응답을 수집하고 운영자가 앞에서 정한 기준에 따라 결과를 승인하거나 재작업을 요청합니다.

시험 대상에는 대표 페이지뿐 아니라 다른 템플릿으로 만든 공개 페이지도 포함합니다. 운영자는 본문과 함께 공개해야 할 이미지나 다운로드 자료가 있다면 목록에 추가합니다. 모든 파일을 한꺼번에 조사하기 어렵다면 담당자가 적용 설정이 서로 다른 대상을 먼저 선정하도록 요청합니다.

검색용 크롤러의 허용 항목

오픈AI는 OAI-SearchBot을 챗GPT 검색에 사용하는 크롤러로 설명하며 robots.txt 허용과 공개 IP 범위의 요청 허용을 권장합니다. 퍼플렉시티도 PerplexityBot에 대해 같은 두 항목을 권장하며, 이 크롤러를 기초 AI 모델 학습용으로 사용하지 않는다고 설명합니다. 운영자는 서비스 이름만 적은 요청 대신 아래 항목별 결과를 담당자에게 받습니다.

파일의 허용 규칙과 서버의 요청 처리는 담당자가 각각 답하도록 요청합니다. 한쪽 결과가 비어 있다면 전체 항목을 완료로 처리하지 않습니다. 보안 정책에 예외를 추가해야 하는 경우에는 운영자가 직접 제한을 해제하기보다 보안 담당자가 필요한 범위를 정하도록 합니다.

오픈AI는 검색용 크롤러 설정과 학습용 크롤러 설정이 서로 독립적이라고 설명합니다. 담당자는 이전 전의 학습 관련 선택을 검색용 접근 변경과 섞지 않고 유지 여부를 기록합니다. 검색용 접근을 허용한다는 요청이 다른 용도의 수집까지 허용하는 요청으로 전달되지 않도록 변경 대상에 크롤러 이름을 명시합니다.

실제 응답으로 남기는 점검 기록

접근 판단 기록에는 설정 화면의 이미지보다 요청과 응답의 관계가 필요합니다. 담당자는 요청 대상, 요청 시각, 요청 출처, 처리한 서버나 보안 서비스, 반환 응답을 함께 기재합니다. 운영자는 기록에 새 운영 환경이 명시되어 있는지 검토하고 이전 환경에서 얻은 결과를 제외합니다.

구글 검색 센터는 호스팅 이전 중 이전 서버와 새 서버의 로그를 함께 확인하도록 안내합니다. 운영자는 이 방식을 참고해 담당자에게 시험 요청을 어느 환경이 처리했는지 명시하도록 요청할 수 있습니다. 접속이 성공했다는 답변만 받으면 이전 서버에서 성공한 요청을 새 환경의 결과로 오인할 수 있습니다.

접근을 시험하려고 보낸 요청과 실제 검색용 크롤러의 방문 기록은 따로 기록합니다. 담당자가 크롤러 이름을 사용해 시험한 결과는 해당 시험 조건에 대한 자료이며, 서비스가 실제 방문했다는 증거로 사용하지 않습니다. 실제 방문으로 보고하려면 요청 출처와 당시 처리 기록을 함께 제시하도록 합니다.

완료와 미확인의 판정 기준

완료 판정은 공개 대상에 대한 조사 결과가 모두 연결될 때 내립니다. 개발용 제한 처리, 검색용 허용 항목, 새 환경의 응답 자료 가운데 빠진 항목이 있다면 해당 항목을 미확인으로 기재합니다. 아직 방문 기록이 없다는 사실을 곧바로 접근 차단으로 판정하지는 않습니다.

응답이 돌아왔더라도 운영자가 의도한 공개 콘텐츠를 받은 것인지 담당자가 검토해야 합니다. 로그인 안내나 보안 인증 화면이 반환됐다면 그 응답만으로 본문 접근을 완료 처리하지 않습니다. 담당자는 응답 내용과 공개 대상 목록을 대조하고, 해결이 필요한 항목에 책임자와 후속 작업을 기재합니다.

설정을 수정한 뒤에는 수정 이전의 시험 기록을 완료 근거로 재사용하지 않습니다. 개발 담당자가 변경된 배포본을 명시하고 보안 담당자가 그 상태에서 얻은 요청 결과를 추가합니다. 운영자는 승인 기록에 적용 환경과 미해결 항목을 남겨 다음 배포 때 재사용할 조사 범위를 정합니다.

자동 배포로 되돌아오는 임시 제한

운영 중인 설정에서 임시 제한을 제거했더라도 배포에 사용하는 파일이나 템플릿에 같은 제한이 남아 있으면 이후 작업에서 다시 적용될 수 있습니다. 개발 담당자는 현재 서비스의 결과와 별도로 배포 원본의 개발용 설정을 조사합니다. 운영자는 이번 수정이 운영 환경에만 적용됐는지 배포 원본에도 반영됐는지 답변을 받습니다.

환경에 따라 설정을 다르게 적용하는 사이트라면 공개 운영용 값과 개발용 값의 적용 대상을 문서에 기재합니다. 담당자는 다음 배포에서 공개 운영용 설정을 사용하는지 시험하고 그 결과를 변경 기록에 추가합니다. 새 환경을 복제할 때에도 개발용 제한이 자동으로 따라오는지 조사 대상으로 지정합니다.

이어서 읽을 주제

이어서 읽을 주제인 병원 사이트 색인은 접근 가능 상태와 검색 색인 상태를 별도로 판단해야 하는 담당자에게 도움이 됩니다. 해당 주제를 이어 읽으면 요청을 받을 수 있는지에 관한 자료와 색인 여부에 관한 자료를 서로 다른 업무 기록으로 정리할 수 있습니다.