호스팅 플랫폼은 사이트가 AI 회사가 콘텐츠를 사용하는 방식을 더 잘 제어할 수 있기를 원합니다.
Cloudflare는 검색 엔진용 웹 사이트를 색인화하는 동시에 AI 에이전트 및 트레이너 역할을 하는 혼합 사용 웹 크롤러를 자동으로 차단할 계획을 발표했습니다. 이 회사는 이전에 크롤러가 AI 챗봇을 위해 사이트를 스크랩하는 것을 방지하는 선택적 기능을 고객에게 제공했지만 이제 Cloudflare의 입장은 기본적으로 더욱 방어적으로 변하고 있습니다.
Cloudflare의 CEO이자 공동 창업자인 Matthew Prince는 성명을 통해 “이제 인터넷 트래픽의 대부분은 사람이 아닌 곳에서 발생하므로 지속 가능한 생태계가 등장할 수 있도록 더 멀리 나아가 더 빠르게 행동해야 합니다”라고 밝혔습니다. “Cloudflare의 새로운 도구와 파트너십은 웹 사이트 소유자에게 향상된 가시성과 상업적 기회를 제공하고 명확하고 투명한 의도를 가진 봇을 보유한 AI 회사에 도움이 됩니다. 우리가 제안한 기본 변경 사항을 통해 혼합 사용 크롤러가 검색과 에이전트 사용 및 교육을 분리할 수 있기를 바랍니다.”
웹 트래픽은 사람들이 웹사이트의 광고를 보고 있거나 구독료를 지불하고 있음을 나타내기 위해 사용되었지만 사용자를 대신하여 사이트를 방문하여 최신 정보를 가져올 수 있는 AI 모델의 인기로 인해 해당 시스템이 뒤집어졌습니다. Cloudflare의 새로운 접근 방식은 AI 회사와 웹 사이트를 운영하는 모든 사람 모두에게 공정한 방식으로 관계의 균형을 재조정하려는 시도입니다.
2026년 9월 15일부터 신규 고객과 기존 Cloudflare 가입자의 새 웹사이트는 “검색은 허용하지만 광고가 있는 페이지에 대한 교육 및 에이전트 사용은 차단”하도록 기본 설정됩니다. 사이트 소유자에게 자신의 사이트가 AI에 사용되는지 여부를 선택할 수 있는 옵션을 제공하지 않는 혼합 사용 크롤러도 기본적으로 광고가 있는 페이지에서 차단됩니다. 회사에 따르면 무료 계정을 가진 사용자는 9월 15일 마감일 이전에 옵트아웃하지 않는 한 이러한 기본값으로 전환됩니다.
이러한 변경의 일환으로 Cloudflare는 2025년에 도입한 Pay Per Crawl 기능의 새 버전도 출시했습니다. 이 기능을 사용하면 기업이 콘텐츠 스크랩을 위해 비용을 지불하지 않는 한 웹사이트에서 기본적으로 AI 웹 크롤러를 차단할 수 있습니다. 이 기능은 이제 Pay Per Use라고 불리며 웹 페이지 크롤링 여부에 따른 기본 지불 대신 Cloudflare는 사이트 소유자가 AI 챗봇의 답변에 콘텐츠가 나타날 때 비용을 지불받을 것이라고 말합니다. 발표에는 Ceramic.AI 및 You.com과의 파트너십만 언급되어 있지만 Cloudflare는 고객이 동의하면 다른 AI 회사도 합류하기를 바라고 있습니다.
일반적으로 웹사이트와 AI 회사 간의 관계를 보다 공정하게 만들려고 노력하는 것 외에도 테크크런치 참고로 Cloudflare도 간접적으로 Google을 표적으로 삼고 있는 것으로 보입니다. 회사의 발표에는 “가장 큰 검색 엔진은 AI에 사용되지 않으면 고객이 검색 가능한 상태를 유지하기 어렵기 때문에 선도적인 AI 회사보다 약 2배 더 많은 정보에 액세스할 수 있습니다”라고 언급되어 있습니다. Google의 주요 크롤러인 Googlebot은 회사의 다양한 검색 엔진을 위한 웹사이트의 색인을 생성하고 정보를 수집하여 Gemini를 교육하고 AI 개요 및 AI 모드와 같은 AI 기능을 강화합니다. Google에서는 기존 검색 결과에 대해서만 웹사이트를 크롤링하는 Google 확장이라는 별도의 크롤러를 웹사이트에서 선택할 수 있도록 허용합니다. 그러나 게시자가 AI 모드 결과에 포함되기를 원하지만 해당 콘텐츠가 Google 모델을 학습시키는 것을 원하지 않는 경우에는 옵션이 없습니다. Cloudflare의 새로운 정책은 복합 용도 크롤러를 사용하는 Google 및 기타 회사가 전술을 바꾸도록 강제하려는 시도입니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
