새로운 robots.txt 지시문은 회사가 생성 AI 교육을 위해 콘텐츠를 스크랩하는 것을 방지합니다.
Google, Anthropic, OpenAI 및 Microsoft는 새로운 robots.txt 지시문을 준수하기로 약속했습니다. 이를 통해 게시자는 생성 AI 교육을 위해 콘텐츠를 스크랩할 때 선호도를 지정할 수 있습니다. 회사들은 Anthropic 표준 기술 책임자인 Kevin Kelley가 작성한 인터넷 개방형 표준 조직인 IETF에서 고려 중인 제안을 채택하기로 결정했습니다.
OpenAI와 Google이 발표에서 설명했듯이 현재 웹사이트 소유자는 개별 크롤러를 식별하고 각 공급자에 대해 별도의 규칙을 추가해야 합니다. Kelley의 제안은 여러 AI 회사가 단일 공통 신호를 인식하고 존중하도록 함으로써 이러한 상황을 바꿀 것입니다. 게시자는 AI 훈련을 위해 특별히 고안된 robots.txt 파일에 다음과 같은 새로운 사용자 에이전트를 설정해야 합니다.
사용자 에이전트: __usage_ai-training
허용하지 않음: /
허용: /press-kit/
그러면 AI 훈련을 위해 데이터를 수집하도록 특별히 고안된 크롤러가 차단됩니다. “허용” 섹션에서는 웹사이트 운영자에게 프레스 키트가 있는 경우와 같이 페이지의 특정 부분에 대한 AI 교육용 스크래핑을 허용하는 옵션을 제공합니다. 하지만 이 새로운 사용자 에이전트 섹션이 크롤링을 완전히 막거나 Google 검색에 콘텐츠가 표시되는 것을 막지는 않습니다. 예를 들어, Google은 이를 Gemini 모델 학습에 사용되는 자료를 찾기 위해 웹사이트를 크롤링하는 “Google 확장” 사용자 에이전트에 대한 정지 신호로 구체적으로 해석합니다.
주목해야 할 또 다른 점은 이 지침은 회사가 이미 수행한 과거 스크래핑을 취소할 수 없다는 것입니다. 이전에 페이지를 크롤링했다면 해당 콘텐츠가 이미 있는 것입니다. 이렇게 하면 향후에 웹사이트나 특정 페이지를 스크랩하는 것을 방지할 수 있습니다. Anthropic은 이미 새로운 지침을 지원하기 시작했으며 Microsoft는 2027년 2월 1일에 지원을 시작할 것이라고 밝혔습니다. Google은 2027년 초에도 이를 지원할 것이라고 밝혔고 OpenAI는 앞으로 몇 달 안에 새로운 신호를 구현하겠다고 약속했습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
