로컬 컴퓨터에서 대규모 언어 모델을 운영하기 위한 런타임 시스템인 Ollama는 기계 학습을 위한 Apple의 오픈 소스 MLX 프레임워크에 대한 지원을 도입했습니다. 또한 Ollama는 캐싱 성능이 향상되었으며 이제 모델 압축을 위해 Nvidia의 NVFP4 형식을 지원하여 특정 모델에서 훨씬 더 효율적인 메모리 사용이 가능하다고 말합니다.
결합된 이러한 개발은 Apple Silicon 칩(M1 이상)을 탑재한 Mac에서 크게 향상된 성능을 약속합니다. 그리고 로컬 모델이 외부 연구원 및 취미 커뮤니티에서 이전에는 볼 수 없었던 방식으로 활력을 얻기 시작함에 따라 시기가 더 이상 좋을 수 없습니다.
최근 GitHub에서 300,000명이 넘는 스타를 기록하고 Moltbook과 같은 실험으로 헤드라인을 장식했으며 특히 중국에서 큰 인기를 끌었던 OpenClaw의 엄청난 성공으로 인해 많은 사람들이 자신의 컴퓨터에서 모델을 실행하는 실험을 하고 있습니다.
개발자가 Claude Code 또는 ChatGPT Codex와 같은 도구에 대한 최고 수준 구독의 요금 제한과 높은 비용으로 인해 좌절감을 느끼면서 로컬 코딩 모델에 대한 실험이 뜨거워졌습니다. (Ollama는 최근 Visual Studio Code 통합도 확장했습니다.)
새로운 지원은 미리보기(Ollama 0.19)로 제공되며 현재 Alibaba Qwen3.5의 350억 매개변수 변형 모델 하나만 지원합니다. 하드웨어 요구 사항은 일반 사용자 기준에 비해 까다롭습니다. Ollama의 발표에 따르면 사용자에게는 Apple Silicon이 장착된 Mac이 필요하지만 최소 32GB의 RAM도 필요합니다.
