Google은 올 봄에 Gemma 4 개방형 모델을 출시하여 로컬 AI를 위한 새로운 수준의 성능과 성능을 약속했습니다. Google의 엣지 AI 도입은 Gemma용 MTP(Multi-Token Prediction) 초안 출시를 통해 이미 더욱 빨라질 수 있습니다. Google은 이러한 실험적 모델이 추측적 디코딩 형태를 활용하여 미래의 토큰을 추측하므로 모델이 자체적으로 토큰을 생성하는 방식에 비해 생성 속도를 높일 수 있다고 말합니다.
최신 Gemma 모델은 Google의 최첨단 Gemini AI를 지원하는 동일한 기본 기술을 기반으로 구축되었지만 로컬에서 실행되도록 조정되었습니다. Gemini는 초고속 상호 연결 및 메모리를 갖춘 거대한 클러스터에서 작동하는 Google의 맞춤 TPU 칩에서 실행되도록 최적화되어 있습니다. 단일 고전력 AI 가속기는 가장 큰 Gemma 4 모델을 최대 정밀도로 실행할 수 있으며 양자화를 통해 소비자 GPU에서 실행할 수 있습니다.
Gemma를 사용하면 사용자는 Google이나 다른 사람의 클라우드 AI 시스템과 모든 데이터를 공유하는 대신 하드웨어에서 AI를 조작할 수 있습니다. Google은 또한 Gemma 4의 라이선스를 Apache 2.0으로 변경했습니다. 이는 Google이 이전 릴리스에 사용했던 맞춤형 Gemma 라이선스보다 훨씬 더 관대합니다. 그러나 대부분의 사람들이 로컬 AI 모델을 실행하는 데 필요한 하드웨어에는 본질적인 제한이 있습니다. MTP가 들어오는 곳입니다.
Gemma(또는 Gemini)와 같은 LLM은 자동 회귀 방식으로 토큰을 생성합니다. 즉, 이전 토큰을 기반으로 한 번에 하나의 토큰을 생성합니다. 토큰이 출력의 필러 단어인지 복잡한 논리적 문제의 핵심 정보인지 여부에 관계없이 각각은 마지막 작업과 마찬가지로 많은 컴퓨팅 작업을 수행합니다.
자체 AI를 롤링할 때의 문제는 시스템 메모리가 엔터프라이즈 하드웨어에 사용되는 고대역폭 메모리(HBM)에 비해 그다지 빠르지 않다는 것입니다. 결과적으로 프로세서는 VRAM에서 각 토큰의 컴퓨팅 단위로 매개변수를 이동하는 데 많은 시간을 소비하며 이 프로세스 중에 컴퓨팅 주기가 사용되지 않습니다.
NVIDIA RTX PRO 6000의 Gemma 4 26B. 초당 토큰의 표준 추론(왼쪽)과 MTP Drafter(오른쪽) 비교. 출력 품질은 동일하고 대기 시간은 절반으로 단축됩니다.
MTP는 그 시간을 사용하여 무거운 모델을 우회하고 경량 초안을 사용하여 투기성 토큰을 생성합니다. 초안 모델은 더 작지만(Gemma 4 E2B의 매개변수는 7,400만 개에 불과) 투기 토큰 생성 속도를 높이기 위해 여러 가지 방법으로 최적화되었습니다. 예를 들어 초안 작성자는 키 값 캐시(기본적으로 LLM의 활성 메모리)를 공유하므로 기본 모델이 이미 수행한 컨텍스트를 다시 계산할 필요가 없습니다. E2B 및 E4B 초안 작성자는 희소 디코딩 기술을 사용하여 가능성이 있는 토큰 클러스터의 범위를 좁힙니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
