먼저 CPU와 GPU가 있었습니다. 그런 다음 AMD의 가속 처리 장치(APU)가 나왔습니다. 그리고 AI PC와 스마트폰의 등장으로 NPU(Neural Process Unit)가 등장하게 되었습니다. 하지만 이제 Google 덕분에 우리는 또 다른 칩인 TPU를 얻게 되었습니다. 2015년에 Google이 내부적으로 처음 배포한 TPU(Tensor Process Unit)는 인공 지능 및 기계 학습(ML) 워크로드에 필요한 모든 복잡한 수학적 계산을 처리하도록 설계된 회사의 독점 AI 가속기입니다. 클라우드 기반 애플리케이션용으로 설계된 TPU는 주로 데이터 센터에 사용됩니다. 하지만 이 용어는 최근 Google Tensor G6 칩을 통해 새로운 Pixel 11 스마트폰에 등장했습니다. 회사는 이 칩에 “50% 더 많은 TPU 컴퓨팅”이 포함되어 있다고 말합니다.
그래서 그것은 무엇입니까? 대답은 혼란스럽게도 둘 다입니다. Pixel 11 시리즈 스마트폰에서 TPU는 기본적으로 NPU를 표현하는 Google의 멋진 표현입니다. 이 버전의 TPU는 카메라 및 이미지 처리는 물론 로컬 AI 작업도 처리합니다. 그러나 데이터센터 TPU는 몇 가지 유사점이 있지만 스마트폰 버전, 기존 NPU 및 GPU와는 확실히 다릅니다. 칩셋 관련 용어를 바로잡을 수 있도록 실제 TPU를 공식적으로 소개하고 몇 가지 오해를 바로잡기 위해 왔습니다.
TPU란 도대체 무엇인가?
좋은 질문입니다. TPU는 구글이 회사 데이터센터에서 클라우드 기반 AI와 머신러닝 작업을 처리하기 위해 만든 칩이다. AI 가속기로 알려진 TPU는 NPU와 GPU가 수행하는 작업인 AI 모델에서 즉시 수백만 개의 수학적 계산을 수행하도록 최적화되었습니다.
우리는 AI와 ML에 관해 많은 이야기를 해왔습니다. 우리 중 많은 사람들이 NPU를 활용하게 될 것입니다. 당연히 우리는 Apple, 다양한 PC 및 스마트폰 제조업체, 칩 제조업체 덕분에 구역질이 나서 머리를 구타당했습니다. 익숙하지 않다면 NPU는 모든 최신 스마트폰, Mac, PC에서 찾을 수 있는 칩입니다. 사진에서 전 애인을 지우거나 ChatGPT를 사용하여 3일 여행 일정을 짜는 등 생성적 및 에이전트적 AI 작업에 대한 모든 무거운 작업을 수행합니다. Pixel 11 휴대폰의 경우 TPU가 NPU를 대체하며 Google은 “최대 3.5배 더 적은 에너지를 사용하면서 AI 처리 속도는 최대 3.5배 더 빨라진다”고 주장합니다.
GPU는 우리 중 많은 사람에게 친숙합니다. 특히 게이머이거나 3D 모델로 작업하는 경우 더욱 그렇습니다. AI 이전에 우리는 다음과 같은 그래픽 요구 사항이 높은 게임을 실행하기 위해 강력한 GPU를 원했습니다. 크라이시스 3 맹렬한 프레임 속도와 버터처럼 부드러운 렌더링으로 가장 높은 설정에서. AI 이후에도 GPU는 AI 훈련과 암호화폐 채굴을 처리할 뿐만 아니라 여전히 이를 수행하므로 최고의 제품을 구입하려면 팔, 다리, 첫 아이가 드는 비용이 듭니다. 다재다능한 GPU는 성능에 따라 많은 일을 잘 수행할 수 있습니다.
그렇다면 TPU, NPU, GPU의 차이점은 무엇인가요?
이러한 칩셋을 차별화하는 요소는 주로 사용 사례와 규모입니다. TPU는 Google 데이터 센터에서 실행되는 클라우드 기반 AI에 사용되는 반면, NPU, 온디바이스 TPU 및 GPU는 스마트폰과 노트북에서 찾을 수 있습니다.
TPU는 지금까지 가장 큰 규모를 가지고 있습니다. 특수 아키텍처 덕분에 TPU는 LLM(대형 언어 모델) 및 대규모 딥 러닝(DL) 작업에 사용되는 대규모 계산을 가속화하는 데 사용됩니다. TPU는 데이터가 2D 승수 그리드에서 한 단위에서 다음 단위로 이동할 수 있도록 하는 수축기 배열이라는 하드웨어 레이아웃을 활용하여 잠재적인 병목 현상을 제거하는 데 도움이 됩니다. 이는 계산 장치와 고대역폭 메모리 사이에서 데이터를 저글링하는 GPU와 달리 계산 출력이 메모리에 다시 쓸 필요 없이 다음 장치의 입력이 된다는 것을 의미합니다.
매일 수십억 건의 AI 요청을 처리하는 Anthropic 및 Midjourney와 같은 대형 AI 회사에 서비스를 제공할 때 GPU 기반 솔루션에 의존하는 것은 병목 현상, 대기 시간 및 전력 효율성 측면에서 비용이 많이 들 수 있습니다. TPU는 메모리를 읽고 쓰기 위해 앞뒤로 순환하지 않기 때문에 대규모 신경망 및 기타 대규모 워크로드를 훈련하는 데 더 적합합니다.
스마트폰, IoT, 노트북에서 생활하는 NPU와 Google의 온디바이스 TPU는 AI/ML 풀의 얕은 부분으로 밀려납니다. 저전력 작업에 최적화되어 있으므로 카메라 효과 및 실시간 번역과 같은 작업에 적합합니다. TPU는 LLM을 수행할 수 있지만 작고 잘 정의된 로컬 LLM이어야 합니다.
어느 것이 더 낫습니까?
“더 나은”은 상대적입니다. 각 AI 가속기는 특정 사용 사례에 가장 적합합니다. NPU와 온디바이스 TPU는 소규모 주류 AI 작업을 처리하는 데 더 좋습니다. 전력 소비가 낮기 때문에 스마트폰, 노트북 또는 스마트워치에 그다지 큰 부담을 주지 않습니다. 그러나 실시간 번역을 수행하고, 통화 중에 배경을 흐리게 하거나, 90년대에 봤다고 맹세했던 모호한 쇼를 기억하는 데 도움이 되는 기능이 충분합니다.
TPU는 AI/ML/DL 쇼를 전 세계적으로 운영하는 데 도움이 되는 비용 및 에너지 효율적인 솔루션입니다. 대규모로 ML 및 DL 모델을 교육하는 동시에 수백만 개의 수학적 계산을 처리한다는 것은 TPU가 전적으로 빅 데이터 센터에 적합하다는 것을 의미합니다. 타고난 유연성을 갖춘 GPU는 소규모 및 대규모 AI 워크로드를 처리할 수 있을 뿐만 아니라 게임을 실행하고, 비디오를 편집하고, 시뮬레이션을 실행할 수도 있습니다. 로컬 LLM을 실행하려면 강력한 GPU를 사용하는 것이 좋습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
