생성 AI 모델의 내부 작동에 대해 많이 알지 못하더라도 많은 메모리가 필요하다는 것을 알고 있을 것입니다. 따라서 현재로서는 쫓겨나지 않고 작은 RAM 스틱을 구입하는 것이 거의 불가능합니다. Google Research는 최근 LLM(대형 언어 모델)의 메모리 사용량을 줄이는 동시에 속도를 높이고 정확성을 유지하는 압축 알고리즘인 TurboQuant를 공개했습니다.
TurboQuant는 키-값 캐시의 크기를 줄이는 것을 목표로 하며 Google은 이를 다시 계산할 필요가 없도록 중요한 정보를 저장하는 “디지털 치트 시트”에 비유합니다. 이 치트 시트가 필요한 이유는 우리가 항상 말했듯이 LLM은 실제로 아무것도 모르기 때문입니다. 토큰화된 텍스트의 의미론적 의미를 매핑하는 벡터를 사용하여 사물을 알고 있다는 좋은 인상을 줄 수 있습니다. 두 벡터가 유사하다는 것은 개념적 유사성을 의미합니다.
수백 또는 수천 개의 임베딩을 가질 수 있는 고차원 벡터는 이미지의 픽셀이나 대규모 데이터 세트와 같은 복잡한 정보를 설명할 수 있습니다. 또한 많은 메모리를 차지하고 키-값 캐시의 크기를 부풀려 성능 병목 현상을 발생시킵니다. 모델을 더 작고 효율적으로 만들기 위해 개발자는 양자화 기술을 사용하여 더 낮은 정밀도로 실행합니다. 단점은 출력이 나빠진다는 것입니다. 즉, 토큰 추정 품질이 떨어집니다. TurboQuant를 사용하면 Google의 초기 결과에 따르면 일부 테스트에서 성능이 8배 향상되고 메모리 사용량이 6배 감소한 것으로 나타났습니다. 없이 품질 저하.
각도와 오류
TurboQuant를 AI 모델에 적용하는 것은 2단계 프로세스입니다. 고품질 압축을 달성하기 위해 Google은 PolarQuant라는 시스템을 고안했습니다. 일반적으로 AI 모델의 벡터는 표준 XYZ 좌표를 사용하여 인코딩되지만 PolarQuant는 벡터를 데카르트 시스템의 극좌표로 변환합니다. 이 원형 그리드에서 벡터는 반경(핵심 데이터 강도)과 방향(데이터의 의미)이라는 두 가지 정보로 축소됩니다.
