ChatGPT 및 Codex와 해당 도구가 활용하는 모델을 지원하는 회사인 OpenAI와 확고한 실리콘 공급업체인 Broadcom은 데이터 센터의 대규모 언어 모델 추론을 위해 특별히 설계된 Jalapeño라는 새로운 칩을 발표했습니다.
이 칩은 대규모 데이터 센터에 배치될 예정이며, 두 회사는 이것이 시간이 지남에 따라 칩이 개선되는 장기 프로젝트의 첫 번째 세대일 뿐이라고 주장합니다.
Broadcom은 이 ASIC(Application-Specific Integrated Circuit)가 OpenAI 연구원들과의 대화에서 얻은 “세부적인 통찰력”을 기반으로 LLM 추론을 위해 처음부터 설계되었으며 칩 개발은 OpenAI의 미래 모델 및 제품에 대한 자체 로드맵을 통해 이루어졌다고 밝혔습니다. 칩의 설계와 생산에는 9개월이 걸렸습니다.
약속은 이 칩이 현재 기존 데이터 센터에서 실행되는 추론 시스템보다 LLM의 현재 요구 사항에 더 특화되어 있다는 것입니다.
OpenAI는 “초기 테스트에서 Jalapeño가 현재의 최첨단 기술보다 훨씬 더 나은 와트당 성능을 제공할 것으로 나타났다”고 주장하지만 성능 측정은 아직 완료되지 않았으며 “자세한 기술 보고서는 앞으로 몇 달 안에 발표될 것”이라고 밝혔습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요