CDN 보안 규칙의 차단 판단 기준
CDN 보안 설정의 AI 크롤러 차단 여부는 robots.txt 허용만으로 판단하지 않고, 보안 규칙의 사용자 에이전트·IP 조건과 사람 확인 절차를 점검해야 합니다. 설정을 변경했다면 반영 이후 실제 크롤러 요청이 통과하는지 로그로 확인해야 합니다. 사이트 운영자는 허용 규칙이 있다는 설명과 그 규칙이 요청에 적용됐다는 기록을 따로 요청합니다.
퍼플렉시티는 WAF를 사용하는 사이트에서 자사 크롤러를 명시적으로 허용해야 할 수 있다고 안내합니다. 운영자가 조사할 대상은 CDN이 웹 요청을 어떤 조건으로 처리하는지입니다. 공개 페이지를 대상으로 하되, 전체 사이트의 접속 장애 원인을 찾는 작업으로 범위를 확대하지 않습니다.
| CDN 점검 항목 | 담당자에게 요청할 확인 내용 | 판단에 필요한 자료 |
|---|---|---|
| 웹 요청 차단 규칙 | 대상 요청에 적용된 규칙과 처리 동작 | 규칙 조건과 요청 처리 기록 |
| 사용자 에이전트·IP 조건 | 이름과 출발 IP를 함께 요구하는지 | 조건식과 공식 IP 자료 |
| 사람 확인 절차 | 대상 요청에 추가 인증을 요구하는지 | 절차 적용 기록과 후속 요청 |
| 변경 반영 상태 | 운영 설정에 적용된 변경 내용 | 반영 기록과 변경 이후 로그 |
마케팅 담당자는 보안 담당자에게 위 자료를 요청할 때 대상 사이트와 공개 페이지 경로를 함께 전달합니다. 담당자가 설정 화면만 제출했다면 실제 요청에 적용된 결과도 추가로 요청합니다. 설정 자료는 의도한 동작을 설명하고, 요청 기록은 해당 시점의 처리 결과를 설명합니다.
이름과 IP를 결합한 허용 조건
퍼플렉시티는 사용자 에이전트 문자열과 IP 주소를 함께 사용하는 보안 규칙을 안내합니다. 사용자 에이전트는 요청이 어떤 크롤러 이름을 표시하는지 판단하는 자료이고, IP는 그 이름에 대응하는 공식 주소 범위와 대조할 자료입니다. 보안 담당자는 이름 조건만 충족해도 허용되는지, 두 조건을 모두 충족해야 허용되는지 조건식을 설명해야 합니다.
검색용 PerplexityBot과 사용자 요청을 처리하는 Perplexity-User에는 각각 공식 IP 자료가 있습니다. 담당자는 허용하려는 요청에 대응하는 자료를 사용하고, 두 요청의 이름과 주소 목록을 잘못 연결하지 않았는지 검토합니다. 두 이름 중 하나를 허용하는 조건을 작성했다면 IP 조건도 그에 맞게 연결됐는지 따집니다.
퍼플렉시티는 공식 IP 주소가 갱신되므로 최신 자료를 사용하도록 안내합니다. 운영팀은 최초 등록한 목록이 계속 유효하다고 가정하지 않고, 현재 적용 중인 주소 자료의 갱신 방식도 요청합니다. 특정 서비스의 조건식을 다른 AI 크롤러에 그대로 적용하지 않으며, 크롤러 진위 검증의 상세 절차는 별도 작업으로 처리합니다.
담당자별 준비 자료와 실행 순서
사이트 운영자는 보안 담당자에게 규칙 조건과 변경 이후 처리 결과를 함께 요청합니다. 외부 관리업체가 CDN을 운영한다면 작업 요청서에도 같은 자료 항목을 기재합니다. 검색 담당자는 접근을 허용할 요청의 목적을 정하고, 보안 담당자는 그 요청에 적용되는 조건을 설명합니다.
- 운영자는 대상 사이트, 공개 페이지 경로, 허용하려는 크롤러 이름을 정리해 전달합니다. 보안 담당자는 해당 범위에 적용되는 웹 요청 차단 규칙과 사람 확인 절차를 목록으로 제출합니다.
- 보안 담당자는 사용자 에이전트·IP 조건의 연결 방식과 허용 동작을 설명합니다. 공식 IP 자료의 갱신 상태와 허용 규칙이 차단 규칙보다 먼저 처리되는지도 검토합니다.
- 변경이 필요하면 담당자는 수정할 조건과 적용 범위를 정해 작업합니다. 운영자는 변경 전 설정과 변경 내용을 보관하고 운영 설정에 반영됐다는 기록을 받습니다.
- 담당자는 반영 이후 대상 요청의 처리 로그를 수집합니다. 운영자는 앞에서 정한 기준에 따라 통과, 차단, 사람 확인 요구, 판단 보류 중 해당 상태를 기록합니다.
작업 요청에는 보안 규칙 전체를 해제하라는 표현을 사용하지 않습니다. 담당자가 특정 요청에 필요한 변경 범위를 설명하도록 요청하고, 자료가 부족한 항목은 미확인 상태로 남깁니다. 검색 담당자는 보안 설정을 직접 수정하기보다 대상과 목적을 명확하게 전달합니다.
변경 이후 처리 결과의 대조
퍼플렉시티는 WAF 설정 변경이 전파되는 데 시간이 걸릴 수 있으며, 정상 크롤러 요청이 허용되는지 로그를 관찰하도록 안내합니다. 따라서 변경 저장 직후의 요청만으로 최종 결론을 내리지 않습니다. 보안 담당자는 운영 설정의 반영 시점과 실제 요청 시각을 연결해 결과를 제출합니다.
| 변경한 규칙 | 변경 후 요청 처리 결과 | 추가 확인 사항 |
|---|---|---|
| 이름·IP 결합 조건 | 대상 요청이 허용 조건에 해당 | 의도한 규칙이 적용됐는지 |
| 허용 규칙의 처리 순서 | 기존 차단 규칙이 계속 적용 | 우선순위와 적용 범위 |
| 사람 확인 적용 조건 | 추가 인증 요구가 지속 | 별도 절차의 적용 여부 |
| 공식 IP 목록 갱신 | 변경 이후 대상 요청 기록 없음 | 반영 상태와 로그 수집 범위 |
표의 결과는 작업 보고에 사용할 판단 항목이며, 실제 발생한 요청을 뜻하지 않습니다. 담당자는 각 항목에 해당 로그를 연결하고 자료가 없는 결과는 추정으로 채우지 않습니다. CDN에서 요청을 허용했다는 결론을 낼 때도 조사한 요청과 페이지 범위를 함께 기재합니다.
사람 확인 요구와 허용 동작의 차이
차단 동작을 해제했더라도 사람 확인 절차가 남아 있다면 접근 허용이 끝났다고 판단하지 않습니다. 보안 담당자는 대상 요청에 CAPTCHA 같은 추가 인증이 요구됐는지와, 그 이후 페이지 요청이 이어졌는지를 조사합니다. 퍼플렉시티의 허용 조건 안내를 적용하는 작업과 사람 확인 절차의 실제 영향을 조사하는 작업은 별개입니다.
허용 예외의 이름만으로 처리 범위를 해석하면 오류가 생길 수 있습니다. 담당자는 예외가 어떤 보안 규칙에 적용되는지 설명하고, 사람 확인 절차에도 영향을 주는지 운영 설정에서 검토합니다. 추가 인증이 계속 요구된다면 어떤 조건이 그 절차를 실행했는지 자료를 요청합니다.
운영자의 브라우저에서는 페이지가 열리더라도 크롤러 요청의 처리 결과는 따로 필요합니다. 직원이 수행한 인증이나 기존 접속 상태를 실제 크롤러의 통과 근거로 사용하지 않습니다. 사람 확인 화면이 반환됐다는 기록과 콘텐츠 요청이 허용됐다는 기록을 혼합해 성공으로 보고하지 않습니다.
요청 부재와 변경 실패의 구별
변경 이후 대상 요청이 로그에 없다면 허용 성공이나 변경 실패로 단정할 수 없습니다. 담당자는 기록 수집 범위에 대상 사이트와 요청 유형이 포함됐는지부터 검토합니다. 수집 범위가 적절하더라도 실제 요청이 없었다면 통과 판단은 보류합니다.
반영 전에 발생한 차단 기록도 변경 이후 실패의 근거로 사용하지 않습니다. 운영자는 보고서의 요청 시각과 반영 시각을 대조하고, 변경 이후 발생한 요청에 한해 적용 결과를 정리합니다. 설정이 반영됐다는 자료와 아직 통과 요청을 확보하지 못했다는 상태는 동시에 기록할 수 있습니다.
여러 조건을 한꺼번에 수정하면 어느 변경이 처리 결과에 영향을 줬는지 설명하기 어려워집니다. 운영팀은 변경 항목별 작업 내역을 남기고 담당자에게 적용 규칙을 연결해 달라고 요청합니다. 원인을 특정할 자료가 부족하면 접근 결과만 보고하고 변경 효과에 대한 해석은 유보합니다.
자동 갱신 작업의 관리 범위
퍼플렉시티는 공식 IP 자료를 주기적으로 가져와 보안 규칙에 반영하는 자동화도 안내합니다. 운영팀은 자동 갱신을 사용한다면 주소 자료를 가져오는 작업과 실제 운영 규칙에 적용하는 작업을 각각 관리합니다. 자료를 가져왔다는 기록만으로 운영 규칙까지 갱신됐다고 보고하지 않습니다.
담당자가 변경되거나 외부 관리 계약이 종료될 때는 갱신 작업의 관리 권한과 오류 전달 대상을 인계합니다. 운영자는 갱신 실패를 누가 처리하는지, 이전 적용 목록을 어디에서 조회하는지 인계 자료에 기재합니다. 규칙 관리 책임이 불명확하면 현재 목록이 최신인지 판단할 자료부터 요청합니다.
자주 묻는 질문
CDN 업체를 모를 때는 누구에게 자료를 요청합니까?
사이트 유지관리 담당자나 인프라 계약을 관리하는 담당자에게 요청합니다. 도메인 연결과 웹 보안 설정을 누가 관리하는지 묻고, 실제 규칙을 조회할 담당자에게 작업을 전달하도록 요청합니다. 계약 상대와 설정 운영자가 다를 수 있으므로 업체 이름만으로 조사 책임자를 정하지 않습니다.
원본 로그를 외부 담당자에게 전달해야 합니까?
원본 전체를 전달하기 전에 조사에 필요한 항목과 공유 범위를 정합니다. 내부 보안 정책에 따라 민감한 값을 제거하되, 요청 시각과 적용 규칙처럼 판단에 필요한 정보는 유지합니다. 원본 공유가 제한되면 보안 담당자가 필요한 항목을 추출한 자료로 답하도록 요청합니다.
CDN 통과 기록만으로 페이지 수집 완료를 판단합니까?
CDN에서 요청을 허용했다는 결과만 판단할 수 있습니다. 그 이후 콘텐츠를 정상적으로 받았는지 또는 서비스가 수집을 완료했는지는 추가 자료가 필요한 문제입니다. CDN 조사 결과를 보고할 때는 사이트 앞단의 보안 처리에 한정한 결론임을 명시합니다.
공개 페이지의 요청 로그를 계속 보관해야 합니까?
이번 작업만을 이유로 모든 로그를 무기한 보관할 필요는 없습니다. 운영팀은 내부 보관 정책에 따라 변경 판단에 필요한 자료를 선택하고 접근 권한을 제한합니다. 로그가 삭제되기 전에 변경 내역과 연결할 증빙을 확보할지는 보안 담당자와 정합니다.
CDN이 여러 개면 한 곳의 결과로 결론을 내려도 됩니까?
조사 대상 요청이 거치는 CDN의 운영 범위를 먼저 정리해야 합니다. 사이트나 페이지별로 서로 다른 서비스가 적용된다면 해당 범위별 결과를 받습니다. 한 서비스에서 얻은 통과 기록은 다른 서비스의 보안 처리를 설명하지 못하므로 보고서에 조사 범위를 기재합니다.