많은 사람들에게 로컬 챗봇을 사용하는 가장 매력적인 이유는 절약할 수 있는 금액일 것입니다. 현재 iPhone에서 로컬 모델을 실행하려면 최대 5달러의 일회성 구매가 필요합니다.
이를 대형 AI 연구소의 구독과 비교해 보세요. 예를 들어 광고 없이 ChatGPT를 사용하려면 OpenAI Plus 요금제에 월 최소 20달러를 지출해야 합니다. ChatGPT를 산발적으로만 사용하려는 경우 더 저렴한 Go 계층을 사용하거나 무료 서비스를 계속 사용할 수도 있지만 속도 제한도 고려해야 합니다. 마찬가지로 Google AI 요금제는 월 8달러부터 시작하지만 Ultra 구독에는 매달 최대 100달러를 지출할 수 있습니다. iPhone에서 AI 챗봇을 실행하면 원하는 만큼 사용할 수 있습니다. 고급 사용자로서, 조랑말을 사용하지 않으면 ChatGPT, Claude 또는 Gemini의 일일 사용량 한도에 도달할 가능성이 매우 높습니다.
개인 정보 보호를 고려하는 사람들에게 로컬 챗봇은 또 다른 이점을 제공합니다. 이 문서에서 제가 추천할 옵션 중 로그인이 필요하지 않거나 실행하려는 모델을 교육한 실험실과 데이터를 공유할 필요가 없는 옵션은 없습니다. 앱 개발자들은 또한 어떠한 사용 정보도 수집하지 않는다고 말합니다. 독점 모델을 사용하면 프롬프트와 공유하는 모든 정보, 이미지, 오디오 또는 비디오가 향후 모델을 교육하는 데 사용될 것이라고 가정해야 합니다. 드문 예외가 있습니다. 예를 들어 Proton의 Lumo 챗봇은 기본적으로 완전히 비공개입니다. ChatGPT를 포함한 대부분의 챗봇의 경우 모델 학습을 위한 데이터 공유를 선택 해제하려면 몇 가지 조사를 수행해야 합니다.
ChatGPT, Claude 또는 Gemini로는 인터넷 연결 없이 사용할 수 없는 반면, 로컬 챗봇은 오프라인에서도 실행할 수 있습니다.
즉, 주목할 만한 몇 가지 단점이 있습니다. 최신 개방형 모델의 성능은 뛰어나지만 Anthropic, OpenAI 및 기타 영리 AI 연구소의 최신 독점 모델만큼 정교하지는 않습니다. 예를 들어 폐쇄형 모델은 강력한 클라우드 하드웨어로 인해 과거 채팅의 정보를 참조할 수 있는 더 긴 컨텍스트 창을 제공하는 경향이 있습니다. 실제로는 자주 반복할 필요가 없기 때문에 더 지능적이고 대화적인 느낌을 주는 챗봇으로 해석됩니다.
게다가 ChatGPT와 Claude는 모두 각 사용자에 대한 응답을 개인화할 수 있는 강력한 “메모리” 기능을 제공합니다. 내 버전의 ChatGPT는 내 메인 액스가 1993년형 Fender Stratocaster라는 것을 알고 있으며 기타 관련 질문을 할 때 그 사실을 자주 언급합니다. 어떤 사람들에게는 시스템이 자신을 알고 싶어하는 것처럼 느껴지기 때문에 챗봇 사용에 중독될 수 있습니다.
적시에 정보를 제공할 수 있는 챗봇이 필요한 경우 로컬 모델로는 충분하지 않을 것입니다. 모든 LLM에는 지식 제한이 있습니다. 이는 훈련 데이터가 다루지 않는 시점입니다. 예를 들어 GPT-5.5 Instant의 경우 2024년 8월 이후의 이벤트를 참조할 수 없습니다. 한편 Llama 3.2의 경우 해당 날짜는 2023년 12월입니다.
지식의 한계를 넘어서는 질문에 대답하기 위해 모델은 이상적으로 강력한 웹 검색 도구로 전환됩니다. 독점 모델은 적시성과 관련하여 두 가지 장점을 제공합니다. 첫째, OpenAI와 같은 회사가 새로운 모델을 출시하는 현재 속도는 해당 시스템이 최신 버전이기 때문에 본질적으로 최신 데이터를 통합한다는 것을 의미합니다. 또한 ChatGPT, Claude 또는 Gemini를 사용하려면 인터넷 연결이 필요하므로 해당 챗봇은 웹을 쉽게 검색하여 답변을 늘릴 수 있습니다. 오픈 소스 모델은 웹 검색 도구를 사용할 수 있지만 타사 확장 프로그램 없이는 사용할 수 없습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
