또는 세계 최대의 웹 스크래핑 회사 중 하나인 Bright Data의 CEO인 Lenchner는 그의 회사의 봇이 비공개 정보를 수집하지 않는다고 말합니다. Bright Data는 이전에 Meta와 X가 플랫폼에서 콘텐츠를 부적절하게 스크랩한 혐의로 고소당했습니다. (Meta는 나중에 소송을 기각했고, 캘리포니아 연방 판사는 X가 제기한 소송을 기각했습니다.)
또 다른 인용 회사인 ScrapingBee의 대변인인 Karolis Stasiulevičiu는 WIRED와의 인터뷰에서 “ScrapingBee는 인터넷의 핵심 원칙 중 하나인 개방형 웹에 접근할 수 있어야 한다는 원칙에 따라 작동합니다. 공용 웹 페이지는 설계상 사람과 기계 모두가 읽을 수 있도록 설계되었습니다.”라고 말했습니다.
또 다른 스크래핑 회사인 Oxylabs는 서명되지 않은 성명에서 자사의 봇은 “로그인, 페이월 또는 인증 뒤의 콘텐츠에 액세스할 수 없습니다. 우리는 고객이 공개적으로 사용 가능한 정보에 액세스할 목적으로만 서비스를 사용하도록 요구하며 플랫폼 전체에 규정 준수 표준을 시행합니다”라고 밝혔습니다.
Oxylabs는 기업이 사이버 보안 목적과 조사 저널리즘 수행을 포함하여 웹 콘텐츠를 스크랩하는 데에는 여러 가지 정당한 이유가 있다고 덧붙였습니다. 회사는 또한 일부 웹사이트에서 사용하는 대응책이 다양한 사용 사례를 차별하지 않는다고 말합니다. Oxylabs는 “현실적으로 많은 최신 안티봇 시스템이 악성 트래픽과 합법적인 자동 액세스를 잘 구별하지 못한다는 것입니다.”라고 말합니다.
웹 스크래핑 전쟁은 출판사에 골칫거리일 뿐만 아니라 새로운 비즈니스 기회를 창출하고 있습니다. TollBit의 보고서에 따르면 현재 AI 교육이나 기타 목적을 위해 웹 콘텐츠를 수집할 수 있는 봇을 마케팅하고 있는 회사가 40개 이상인 것으로 나타났습니다. AI 기반 검색 엔진과 OpenClaw와 같은 도구의 등장은 이러한 서비스에 대한 수요를 높이는 데 도움이 될 것입니다.
일부 회사는 생성 엔진 최적화(GEO)라고 알려진 전략을 통해 회사가 AI 에이전트를 차단하는 대신 AI 에이전트의 콘텐츠를 표면화하도록 돕겠다고 약속합니다. 콘텐츠가 AI 도구에서 눈에 띄게 나타나도록 최적화하는 회사인 Brandlight의 최고 비즈니스 책임자인 Uri Gafni는 “우리는 본질적으로 새로운 마케팅 채널의 부상을 목격하고 있습니다.”라고 말합니다.
Gafni는 “이러한 현상은 2026년에만 더욱 심화될 것이며 검색, 광고, 미디어 및 상거래가 통합되는 완전한 마케팅 채널로 이러한 출시를 보게 될 것입니다”라고 말했습니다.
이 이야기는 원래 wired.com에 게재되었습니다.
