우리는 이것이 측정 가능한 성능 향상을 가져온다는 것을 발견하지 못했지만 Claude Code는 이를 수행하는 플러그인을 원할 경우 사용할 수 있고 연결할 수 있을 만큼 충분히 확장 가능하도록 설계했습니다. 그러나 우리는 Claude Code가 코드베이스를 탐색하기 위해 추가할 필요 없이 고품질 코드를 생성하는 데 꽤 능숙하다는 것을 발견했습니다.
아르스: 문제는 코드의 품질보다는 거기에 도달하는 효율성에 관한 것입니다. 그렇죠? 왜냐하면 사람들은 사용량 제한 때문에 매우 좌절감을 느끼기 때문입니다. 때때로 사람들은 LLM에 일종의 구조를 도입하려고 시도하다가 예상치 못한 숨겨진 비용이 있음을 발견합니다. 그런 종류의 의미 정보에서 그런 일이 일어난다고 말하는 겁니까? 이 방법이 아니라고 알려주는 데이터가 있나요?
우: 평가 결과에 따르면 측정 가능한 변화는 보이지 않습니다. 그리고 우리는 일반적으로 더 적은 수의 독창적인 도구를 사용하여 더 간결한 하네스를 제공하고 개발자가 원할 경우 개발자가 직접 추가할 수 있도록 하는 쪽으로 더 기울고 있다고 생각합니다. 따라서 도구가 토큰 성능이나 정확성을 명확하게 향상시키지 않는 한 우리는 기본적으로 해당 도구를 배송하지 않습니다.
저희는 토큰 효율성을 항상 최우선으로 생각합니다. 왜냐하면 우리는 사람들에게 토큰당 최대의 지능을 제공하기를 원하기 때문에 이를 줄이는 방법을 끊임없이 실험하고 있지만 실제로는 제가 바라는 것보다 더 어렵습니다.
우리에게 가장 중요한 것은 지능을 유지하는 것입니다. 따라서 실제로 모델을 더욱 지능적으로 만든다고 생각되는 경우에만 무언가를 출시할 것입니다. 왜냐하면 그것이 토큰 효율성이 아니라 실제로 우리에게 북극성이기 때문입니다.
아르스: 일부 사용자의 경우 더 투명하다면 토큰 가용성에 대한 제한을 받아들이는 것이 더 쉬울 수 있습니다. 그러나 동시에 “이 작업이 이 작업 대신에 이 작업을 수행했기 때문에 이 정도의 작업을 수행했습니다”라는 토큰 사용에 대해 실제로 투명성을 갖는 것이 실제로는 어렵다는 인상을 받았습니다.
나는 당신이 그것을 사용자에게 전달할 방법을 모색했다고 가정합니다. 그렇게 하려고 노력했을 때 무엇을 발견했습니까?
우: “야, 한도가 빨리 소진됐는데 어디로 갔지?” 같은 질문을 많이 받았어요. 그리고 저는 그것이 전적으로 타당하다고 생각하며 우리는 이에 대해 투명하게 밝혀야 합니다. 진단하기가 어렵습니다.
따라서 사람들이 이러한 불만을 제기하면 우리는 몇 사람을 선택하여 그들과 통화하고 실제로 라이브로 디버그합니다. 왜냐하면 전체 기록이 로컬에 완전히 저장되어 있기 때문에 실제로 컴퓨터에 사용하는 모든 토큰에 대한 모든 데이터가 이미 있기 때문입니다.
우리는 두 가지 주요 패턴을 발견했습니다. 첫째, 사람들은 매우 긴 세션을 갖고 2시간 동안 자리를 떠났다가 다시 돌아온 다음 캐시가 깨집니다. 그리고 캐시가 깨지면 실제로 다음 쿼리를 보내는 데 훨씬 더 많은 비용이 듭니다. 그래서 우리는 “캐시가 손상되었습니다. 새 세션을 시작하려면 /clear를 실행하세요.”라는 알림을 표시하기 시작합니다. 그래서 이것은 재개하는 데 꽤 비용이 많이 든다는 것을 상기시켜줍니다. 또한 /usage를 실행하면 실제로 “캐시가 손상되었기 때문에 이 세션 비용이 많이 듭니다.”라는 메시지가 표시됩니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
