Google, ‘에이전트 시대’를 위해 설계된 두 가지 새로운 TPU 공개

따라서 새로운 칩을 사용하면 더 빠른 훈련이 가능하지만 Google은 TPU 8t에 펌핑하는 모든 볼트에 대해 더 유용한 계산을 얻을 수 있다고 말합니다. 회사는 97%의 “좋은” 비율을 주장하는데, 이는 대기 시간과 낭비되는 노력이 줄어든다는 것을 의미합니다. 불규칙한 메모리 액세스를 효과적으로 처리하고, 하드웨어 오류를 자동으로 처리하고, 연결된 모든 칩에 대한 실시간 원격 측정을 통해 TPU 8t는 적극적으로 모델 교육을 진행하는 데 더 많은 시간을 할애합니다.

훈련이 완료되면 AI 모델은 추론 모드에서 실행되어 토큰을 생성합니다. 이는 모델에 작업을 지시할 때 뒤에서 일어나는 프로세스입니다. 여기에는 많은 마력이 필요하지 않으므로 AI 수명 주기의 두 부분에 동일한 하드웨어를 사용하는 것은 비효율적입니다. 이것이 추론이 TPU 8i의 영역인 이유입니다. TPU 8i는 여러 특수 에이전트를 실행할 때 더 적은 대기 시간으로 더 효율적으로 작동하도록 설계되었습니다. TPU 8i 칩은 또한 최신 세대 Ironwood 추론 클러스터의 경우 256개에 불과한 데 비해 1,152개의 칩으로 구성된 더 큰 포드에서 실행됩니다. 이는 포드당 11.6EFlops로 TPU 8t 포드보다 훨씬 낮습니다.

Google은 각 TPU 8i의 온칩 SRAM 용량을 384MB로 3배 늘렸습니다. 이를 통해 회사의 새로운 칩은 칩에 더 큰 키 값 캐시를 유지하여 더 긴 컨텍스트 창으로 모델 속도를 높일 수 있습니다. 8세대 AI 가속기는 또한 Google에서 처음으로 Google의 맞춤형 Axion ARM CPU 호스트에만 의존하여 TPU 2개당 CPU 1개를 제공합니다. Ironwood에서는 각 x86 CPU가 4개의 TPU 칩을 서비스했습니다. Google은 이러한 “풀 스택” ARM 기반 접근 방식이 훨씬 더 큰 효율성을 제공한다고 말합니다.

효율적인 플레이

효율성이 Google의 새로운 TPU 설정의 핵심 부분이라는 점은 이해가 됩니다. 최첨단 AI 모델을 훈련하고 실행하는 데 비용이 많이 들고 투자 수익이 불분명합니다. 기업들은 효율성이 어느 시점에서 전환될 것이라는 희망으로 여전히 생성 AI에 돈을 투자하고 있습니다. Google의 새로운 TPU가 목표 달성에 도움이 될 수도 있고 그렇지 않을 수도 있지만 회사는 눈에 띄는 개선을 이루었습니다.