curl로 페이지 응답을 확인하는 법

페이지 응답을 읽는 판단 기준

응답 코드는 서버가 해당 요청에 어떻게 응답했는지를 나타냅니다. 구글은 성공 응답으로 받은 콘텐츠를 색인 생성 과정에서 고려할 수 있지만, 성공 코드 자체가 색인을 보장하지는 않는다고 설명합니다. 따라서 결과를 기록할 때는 서버 응답 상태와 검색 처리 상태를 별도 항목으로 기재합니다.

이 항목들은 같은 요청에서 반환된 자료끼리 연결해 읽습니다. 다른 실행의 코드와 본문을 합치면 당시 서버가 어떤 응답을 했는지 판단하기 어렵습니다. 담당자가 결과를 전달할 때는 최초 요청 주소와 실행 시점을 함께 기재하도록 요청합니다.

응답 코드와 콘텐츠의 관계

성공 응답을 받았더라도 본문이 운영자가 기대한 페이지인지 읽어야 합니다. 구글은 성공 코드와 함께 빈 페이지나 오류 메시지가 전달되면 소프트 404 오류가 표시될 수 있다고 설명합니다. 운영자는 페이지 제목만 일치하는지 판단하지 말고, 공개하려는 주요 설명이 실제 응답에 포함됐는지 대조합니다.

이동 응답은 처음 요청한 주소에서 내용 판독을 끝낼 수 없다는 뜻으로 처리합니다. 네이버 서치어드바이저는 이동 응답의 목적지를 Location 헤더로 설명하며, 구글은 이동 전 주소에서 받은 콘텐츠 대신 최종 대상의 콘텐츠를 처리한다고 안내합니다. 개발 담당에게는 이동 지시를 받은 기록과 목적지에서 받은 기록을 연결해 전달하도록 요청합니다.

접근 오류나 서버 오류가 반환되면 본문에 문장이 있다고 해서 정상 페이지로 판정하지 않습니다. 구글은 해당 오류 응답에서 받은 콘텐츠를 사용하지 않는다고 설명합니다. 운영자는 오류 문구를 검색 대상 콘텐츠로 평가하기 전에 개발 담당에게 응답 상태의 원인을 조사하도록 요청합니다.

대상 주소 지정과 실행 순서

운영자는 먼저 공개하려는 페이지의 정확한 주소와 요청 목적을 정합니다. 목적은 페이지가 정상 내용을 반환하는지, 이전 주소가 의도한 곳으로 이동하는지처럼 해당 페이지에서 판정할 문제로 기재합니다. 주소를 복사하는 과정에서 경로나 매개변수가 달라지지 않았는지도 대조합니다.

1. 대상 주소를 지정합니다. 운영자가 기대하는 페이지 제목과 주요 내용, 이동이 예정된 경우 목적지를 개발 담당에게 전달합니다.
2. 응답 코드와 이동 주소를 읽습니다. 개발 담당이 최초 응답을 기록하고, 이동 응답이면 Location과 최종 도착 결과를 연결해 전달합니다.
3. 헤더와 본문을 읽습니다. 검색 제어 규칙과 주요 콘텐츠를 대조하고, 응답이 끝까지 전달됐는지 개발 담당이 판단합니다.

명령 구문과 옵션은 개발 담당이 필요한 자료를 얻을 수 있도록 정하도록 요청합니다. 전달받는 결과가 헤더만 포함하는지, 본문도 포함하는지, 이동 전 응답을 남기는지는 요청서에 명시합니다. 실행에 사용한 명령도 결과와 함께 받아 두면 수정 후 같은 목적의 재실행을 요청할 수 있습니다.

개발 담당에게 요청할 결과 자료

요청서에는 실행 방법보다 운영자가 받아야 할 결과를 먼저 기재합니다. 개발 담당은 아래 항목을 한 실행 기록으로 묶고, 결과를 얻지 못한 항목에는 그 이유를 설명합니다. 자료가 없다는 사실과 서버가 해당 값을 반환하지 않았다는 사실은 서로 다르게 기록합니다.

운영자는 자료를 받은 뒤 정상 여부를 결정하지 못한 항목을 개발 담당에게 돌려보냅니다. 이때 ‘응답이 이상합니다’라는 설명 대신 예상한 내용과 실제 반환 내용의 차이를 기재합니다. 수정 요청에도 문제 항목을 유지하고, 변경 후 결과는 이전 기록을 덮어쓰지 않고 별도로 보관합니다.

요청 목적이 해결됐는지는 처음 정한 기대 결과에 따라 판정합니다. 이동 문제를 수정했다면 목적지가 맞는지까지, 콘텐츠 누락을 수정했다면 필요한 본문이 반환되는지까지 담당자가 답하도록 요청합니다. 작업 완료라는 말만 전달받았을 때는 해당 항목의 응답 자료를 추가로 받습니다.

검색 제어 헤더의 해석 오류

X-Robots-Tag는 헤더 이름의 존재 여부만으로 판정하지 않습니다. 구글은 규칙 앞에 사용자 에이전트가 지정될 수 있으며, 지정이 없는 규칙은 모든 크롤러에 유효하다고 설명합니다. 담당자는 규칙 값과 적용 대상을 함께 기재하고, 운영자는 의도한 검색 공개 설정과 대조합니다.

구글은 헤더와 사용자 에이전트 이름, 규칙 값의 대소문자를 같은 의미로 처리한다고 안내합니다. 영문 표기 방식이 다르다는 이유만으로 서로 다른 설정으로 판단하지 않습니다. 같은 헤더가 여러 번 반환됐다면 일부만 발췌하지 말고 전체 내용을 개발 담당에게 해석하도록 요청합니다.

구글은 로봇 지시어가 충돌할 때 더 제한적인 규칙을 적용한다고 설명합니다. 허용으로 해석되는 항목을 찾았다는 이유로 제한 규칙의 처리를 생략하지 않습니다. 헤더와 본문에서 검색 제어 선언을 발견했다면 담당자에게 함께 전달하고, 의도하지 않은 선언이 남아 있는지 판단하도록 요청합니다.

잘린 응답과 누락 자료의 판별

본문 일부가 전달되지 않았을 때는 서버 응답 문제와 자료 전달 문제를 먼저 가립니다. 개발 담당이 본문의 앞부분만 복사했는지, 실행 도중 오류가 발생했는지에 따라 후속 작업이 달라집니다. 운영자는 받은 문서의 길이만으로 서버 장애를 단정하지 말고 원래 실행 결과와 완료 여부를 요청합니다.

서치 콘솔 도움말은 잘린 응답이나 헤더, 해석할 수 없는 응답, 잘못 압축된 데이터를 잘못된 서버 응답의 원인으로 설명합니다. curl 실행에서도 이런 문제를 의심할 자료가 있다면 개발 담당이 전송 상태와 서버 처리를 조사하도록 요청합니다. 그 기록을 서치 콘솔에서 발생한 오류와 동일한 사건으로 단정하지는 않습니다.

정보가 부족한 결과의 기록 방식

아직 원인을 가리지 못한 결과는 정상이나 오류로 억지로 결론 내리지 않습니다. 담당자가 응답을 받지 못했다면 상태 코드 항목에 추정값을 기재하지 말고, 결과를 얻지 못했다는 설명과 실행 오류를 남깁니다. 서버가 반환한 정보와 담당자의 해석은 별도 문장으로 기록합니다.

추가 요청에는 결론을 내리는 데 필요한 자료를 명시합니다. 헤더 원문이 필요한지, 본문 파일이 필요한지, 실행 완료 기록이 필요한지를 정해 전달합니다. 운영자는 자료를 보완한 뒤 판정을 갱신하고, 이전 판정에 어떤 정보가 부족했는지도 기록합니다.

이어서 읽을 주제

병원 사이트 색인은 응답 자료를 확보한 뒤 검색엔진의 처리 상태를 별도로 판단하려는 독자가 이어 읽을 주제입니다. 병원 홈페이지 SEO 대행은 기술 자료의 전달 범위와 수정 책임을 외부 업무 요청에 어떻게 명시할지 정하려는 독자가 이어 읽을 주제입니다.