느린 페이지에 대한 AI 크롤러의 처리

확인된 처리와 미확인 정책

크롤링 감소는 사이트에 보내는 요청의 양과 관련된 처리입니다. 응답 대기 제한은 개별 요청에서 콘텐츠를 얼마나 기다리는지에 관한 처리입니다. 요청이 줄었다는 기록만으로 특정 페이지의 대기 시간이 끝났다고 결론 내릴 수 없으며, 요청 하나가 중단됐다는 기록만으로 사이트 전체의 크롤링 감소를 설명할 수도 없습니다.

표의 대기 제한은 구글의 HTTP 상태 코드 문서에서 202 응답을 설명하는 내용입니다. 모든 느린 응답에 동일한 제한을 적용한다는 뜻으로 확대하면 안 됩니다. 다른 AI 크롤러의 공식 설명이 확보되지 않았다면 보고서에는 대기 시간과 재시도 정책을 미확인 사항으로 기재합니다.

크롤링 용량과 대기 제한의 차이

구글은 서버에 과부하를 주지 않도록 병렬 연결 수와 연결 기간을 고려해 크롤링 용량 한도를 계산한다고 설명합니다. 사이트의 지연 시간이 늘거나 응답 시간이 증가하면 이 한도가 내려갈 수 있습니다. 따라서 운영자가 받은 속도 측정 결과는 크롤링 감소의 가능성을 판단하는 자료이지, 감소가 이미 발생했다는 증거는 아닙니다.

구글은 202 응답에서 콘텐츠를 기다리는 시간의 한도가 사용자 에이전트에 따라 다르다고 설명합니다. 구글봇 스마트폰과 구글봇 이미지도 같은 시간 초과 기준을 사용한다고 가정할 수 없습니다. 담당자는 크롤러 이름을 생략한 채 대기 제한을 공유하지 말고, 문서가 설명하는 응답 조건과 사용자 에이전트를 함께 기록해야 합니다.

구글의 크롤링 예산은 크롤링 용량 한도와 크롤링 수요에 의해 결정됩니다. 요청 수가 감소해도 속도만으로 원인을 확정할 수 없는 이유입니다. 마케팅 담당자는 요청 감소와 응답 지연이 함께 발생했는지를 개발 담당에게 묻고, 다른 원인을 가릴 자료가 부족하면 원인 판단을 유보합니다.

응답 상태부터 요청 기록까지의 순서

개발 담당에게는 느리다는 평가보다 요청별 응답 상태를 먼저 요청합니다. 응답 지연과 상태 코드가 확보돼야 해당 크롤러의 공식 설명에서 적용할 조건을 선택할 수 있습니다. 마케팅 담당자는 대상 페이지의 식별 정보와 문제가 발생한 시각, 당시 관찰한 증상을 함께 전달합니다.

1. 개발 담당이 응답 지연과 상태 코드를 추출합니다. 최초 응답까지의 시간과 응답 종료까지의 시간이 기록돼 있다면 따로 정리하고, 값이 없는 항목은 누락으로 표시합니다.
2. 마케팅 담당자가 해당 크롤러의 공식 처리 설명을 찾습니다. 문서에서 설명하는 상태 코드, 크롤러 종류, 처리 범위를 실제 응답 조건과 대조합니다.
3. 개발 담당이 실제 요청 기록에서 후속 요청과 종료 상태를 추적합니다. 공식 설명에 부합하는 관찰 결과와 기록만으로 확정하지 못한 결과를 따로 전달합니다.

이 순서는 정책 설명을 실제 장애의 원인으로 곧바로 받아들이지 않기 위한 업무 절차입니다. 공식 문서가 요청 감소 가능성을 설명하더라도 해당 사이트의 기록에서 같은 변화가 있었는지 재확인해야 합니다. 기록 보관 범위가 짧거나 일부 요청만 남아 있다면 그 한계도 결과에 포함합니다.

개발 담당에게 요청할 자료

자료 요청서는 관찰할 항목과 판단할 수 있는 범위를 함께 작성합니다. 로그 파일만 전달받으면 담당자마다 서로 다른 결론을 내릴 수 있으므로, 어떤 질문에 답하려는지도 명시합니다. 다음 표는 플랫폼의 필수 제출 형식이 아닌 일반적인 운영 업무용 구성입니다.

개발 담당은 기록이 생성된 서버나 중간 시스템도 함께 표시해야 합니다. 서로 다른 시스템의 종료 시각과 응답 상태를 한 요청의 결과처럼 연결하면 해석이 달라질 수 있습니다. 자료를 전달받은 담당자는 누락된 항목을 추정값으로 채우지 않고 추가 수집이 필요한 항목으로 남깁니다.

공유용 결과에는 관찰 사실, 적용한 문서의 설명, 아직 판단하지 못한 사항을 따로 기재합니다. 크롤러가 기다리기를 멈췄다는 결론에는 이를 뒷받침하는 종료 기록이 필요합니다. 서버가 처리를 끝냈다는 기록만 확보됐다면 보고 범위를 서버 측 처리 완료로 제한합니다.

단순 지연과 반복 오류의 판정

오래 걸린 요청과 오류로 끝난 요청은 같은 실패 항목으로 합산하지 않습니다. 느리게 응답했더라도 콘텐츠를 반환한 요청과 서버 오류를 반환한 요청은 공식 문서에서 적용할 설명이 다르기 때문입니다. 개발 담당자는 응답 시간 기록 옆에 상태 코드를 연결해 지연만 발생한 요청을 가립니다.

구글은 5xx와 429 응답을 크롤링 속도를 일시적으로 낮추는 신호로 처리한다고 설명합니다. 또한 5xx 응답에서 받은 콘텐츠는 사용하지 않는다고 설명합니다. 이 조건에 해당하는 요청은 대기 시간이 길었다는 설명만으로 처리하지 말고, 오류 응답이 계속 발생했는지를 별도 항목으로 기록합니다.

구글은 서버가 2xx 응답을 반환하기 시작하면 크롤링 속도를 점진적으로 늘린다고 설명합니다. 오류가 사라진 직후 요청량이 이전 수준과 같지 않다는 이유만으로 복구 실패를 선언하면 안 됩니다. 운영 보고서는 응답 상태의 회복 시점과 이후 요청량의 관찰 결과를 각각 기재합니다.

정책 추정으로 끝내지 않는 기록

크롤러가 다시 요청했다는 사실은 재접근의 증거이며, 정해진 재시도 간격의 증거는 아닙니다. 특정 간격으로 요청이 반복됐더라도 공식 정책을 확보하지 못했다면 관찰된 간격으로만 기록합니다. 마케팅 담당자는 이 값을 다른 페이지나 다른 크롤러의 예상 대기 시간으로 사용하지 않습니다.

요청이 없다는 결론에는 기록의 수집 범위가 함께 필요합니다. 일부 서버의 기록만 확보했거나 보관이 중단된 시간이 있다면 해당 범위에서 요청을 찾지 못했다고 표현합니다. 수집 누락 가능성을 배제하지 못한 상태에서 크롤러가 페이지 수집을 포기했다고 보고하지 않습니다.

담당자 간 해석이 다를 때는 정책 문장을 반복하기보다 각 결론이 의존하는 기록을 지정합니다. 요청 감소 판단에는 집계 이력을, 대기 종료 판단에는 해당 요청의 종료 정보를 연결합니다. 연결할 자료가 없는 결론은 확정 결과에서 제외하고 후속 조사 항목으로 남깁니다.

중간 시스템의 종료와 크롤러 종료

서버 앞의 중간 시스템이 연결을 종료한 기록은 크롤러가 대기를 중단한 기록과 동일하지 않습니다. 연결 종료의 주체를 알 수 없다면 개발 담당자는 종료 사유와 기록을 생성한 시스템을 함께 조사합니다. 자체 설정으로 연결이 종료됐는지도 질문에 포함해야 합니다.

내부 처리 로그에는 작업 완료가 남아 있어도 그 결과가 외부 요청자에게 전달됐는지는 별도 판단이 필요합니다. 담당자는 같은 요청을 연결할 식별 정보가 있는지 대조하고, 서로 연결되지 않는 기록을 하나의 성공 응답으로 합치지 않습니다. 종료 주체를 가릴 수 없으면 크롤러의 시간 초과 정책을 역산하지 않고 전달 결과가 미확인이라는 결론을 남깁니다.

이어서 읽을 주제

병원 FAQ 페이지는 응답 상태 조사와 별개로, 질문과 답변을 페이지에 어떻게 구성할지 판단할 때 이어 읽을 주제입니다. 기술 기록을 담당하는 사람과 콘텐츠를 편집하는 사람이 각자 준비할 자료를 정리하는 데 참고할 수 있습니다.