핵심 요점
- 검열 감소: 로컬 LLM은 공개 챗봇에서 흔히 볼 수 있는 제약 없이 자유로운 토론을 가능하게 하여, 더욱 개방적인 대화 환경을 조성합니다.
- 향상된 데이터 프라이버시: 로컬 LLM 사용 시 생성되는 모든 데이터는 사용자 컴퓨터 내에 저장되어, 개인 정보 보호를 강화하고 외부 접근을 차단합니다.
- 오프라인 사용: 인터넷 연결 없이도 로컬 LLM을 사용할 수 있어, 통신이 어려운 지역에서도 중단 없는 활용이 가능합니다.
2022년 11월 ChatGPT 출시 이후, 거대 언어 모델(LLM)이라는 용어는 인공지능 전문가들의 전문 용어에서 일반 대중이 자주 사용하는 용어로 빠르게 변화했습니다. 로컬 LLM의 가장 큰 매력은 클라우드 기반 서비스의 부담 없이 개인 컴퓨터에서 ChatGPT와 유사한 챗봇을 사용할 수 있다는 점입니다.
개인 컴퓨터에 로컬 LLM을 설정하는 것에 대한 논의가 활발합니다. 과장된 광고는 잠시 접어두고, 실질적인 내용을 알아봅시다. 로컬 LLM을 사용하는 것이 정말 좋을까요?
로컬 LLM 사용의 이점
왜 많은 사람들이 개인 컴퓨터에 대형 언어 모델을 설치하는 데 열광하는 것일까요? 과장된 홍보 외에 실질적인 이점은 무엇이 있을까요?
1. 검열 감소
ChatGPT와 Bing AI가 처음 공개되었을 때, 두 챗봇이 보여준 반응은 놀라움과 동시에 흥미로움을 자아냈습니다. Bing AI는 마치 감정이 있는 듯 따뜻하고 애정 어린 태도를 보였고, ChatGPT는 요청에 따라 흔쾌히 욕설을 사용하기도 했습니다. 심지어 두 챗봇 모두 적절한 프롬프트를 사용하면 폭탄 제조 방법을 알려주기도 했습니다. 이는 위험해 보일 수 있지만, 어떤 요청이든 처리할 수 있다는 것은 언어 모델의 무한한 능력을 보여주는 상징이었습니다.
현재는 두 챗봇 모두 지나치게 검열되어 폭력적인 장면이 포함된 가상 범죄 소설을 쓰는 데조차 도움을 받기 어렵습니다. 일부 AI 챗봇은 종교나 정치에 대한 언급조차 피합니다. 로컬로 설정할 수 있는 LLM은 검열이 전혀 없는 것은 아니지만, 공개 챗봇이 할 수 없는 다양한 생각을 자극하는 주제에 대해 기꺼이 논의할 수 있습니다. 따라서 개인적으로 관심 있는 주제에 대해 대화할 때, 로봇에게 도덕적인 훈계를 듣고 싶지 않다면 로컬 LLM을 운영하는 것이 좋은 선택이 될 수 있습니다.
2. 향상된 데이터 프라이버시
로컬 LLM을 선택하는 주요 이유 중 하나는 컴퓨터에서 처리되는 모든 정보를 컴퓨터 내에 보관하기 위함입니다. 로컬 LLM을 사용하면 마치 개인적인 대화처럼 외부의 누구에게도 노출되지 않습니다. 신용 카드 정보를 실험하거나 LLM과 민감한 개인적인 대화를 나누더라도 모든 결과 데이터는 사용자의 컴퓨터 내에만 저장됩니다. 반면, GPT-4와 같은 공개 LLM을 사용하면 해당 회사에서 사용자의 대화 정보에 접근할 수 있습니다.
3. 오프라인 사용
저렴하고 접근성이 높은 인터넷 덕분에 오프라인 접속은 로컬 LLM 사용의 사소한 이유처럼 보일 수 있습니다. 그러나 인터넷 연결이 불안정하거나 불가능한 원격 또는 격리된 지역에서는 오프라인 접속이 매우 중요할 수 있습니다. 이러한 환경에서는 인터넷 연결 없이 작동하는 로컬 LLM이 필수적인 도구가 됩니다. 중단 없이 작업을 계속할 수 있도록 지원하기 때문입니다.
4. 비용 절감
GPT-4 또는 Claude 2와 같은 고성능 LLM에 접근하는 데에는 월평균 20달러의 비용이 발생합니다. 이 금액이 크게 느껴지지 않을 수 있지만, 여전히 몇 가지 불편한 제한 사항이 따릅니다. 예를 들어 ChatGPT를 통해 접근하는 GPT-4는 3시간당 50개의 메시지 제한이 있습니다. 이러한 제한을 초과하려면 잠재적으로 수천 달러가 소요되는 ChatGPT Enterprise 요금제를 사용해야 합니다. 로컬 LLM을 사용하면 소프트웨어를 설치한 후에는 월간 구독료나 반복적인 비용 지출이 없습니다. 이는 차량 공유 서비스에 의존하는 대신 자동차를 구매하는 것과 비슷합니다. 처음에는 비용이 많이 들지만 장기적으로는 비용을 절약할 수 있습니다.
5. 더 나은 맞춤화
공개적으로 이용 가능한 AI 챗봇은 보안 및 검열 문제로 인해 사용자 정의에 제약이 있었습니다. 로컬 환경에서 호스팅되는 AI 어시스턴트를 사용하면 사용자의 특정 요구에 맞게 모델을 완전히 맞춤 설정할 수 있습니다. 사용 사례에 적합한 독점 데이터를 사용하여 어시스턴트를 훈련하여 관련성과 정확도를 높일 수 있습니다. 예를 들어, 변호사는 로컬 AI를 최적화하여 더욱 정확한 법률 자문을 얻을 수 있습니다. 주요 이점은 고유한 요구 사항에 맞는 사용자 정의를 직접 제어할 수 있다는 점입니다.
로컬 LLM 사용의 단점
로컬 LLM으로 전환하기 전에 고려해야 할 몇 가지 단점이 있습니다.
1. 리소스 집약적
고성능 로컬 LLM을 실행하려면 고사양 하드웨어가 필요합니다. 강력한 CPU, 넉넉한 RAM, 전용 GPU가 필요합니다. 400달러 수준의 저가형 노트북으로 좋은 성능을 기대하기는 어렵습니다. 특히 대형 AI 모델의 경우 응답 속도가 매우 느려질 수 있습니다. 이는 최신 비디오 게임을 실행하는 것과 비슷합니다. 최적의 성능을 위해서는 강력한 사양이 필요합니다. 특수 냉각 솔루션이 필요할 수도 있습니다. 결론적으로, 로컬 LLM이 웹 기반 LLM과 유사한 속도와 응답성을 제공하려면(또는 능가하려면) 고가의 하드웨어에 대한 투자가 필수적입니다. 웹 기반 서비스에 비해 사용자 측의 컴퓨팅 요구 사항이 상당히 높습니다.
2. 느린 응답 속도와 성능 저하
로컬 LLM의 일반적인 단점은 응답 시간이 느리다는 것입니다. 정확한 속도는 사용되는 특정 AI 모델 및 하드웨어에 따라 다르지만, 대부분의 설정은 온라인 서비스보다 느립니다. ChatGPT나 Bard 등의 즉각적인 응답에 익숙해진 사용자에게는 로컬 LLM이 부자연스럽게 느껴질 수 있습니다. 단어가 빠르게 나타나는 것이 아니라 천천히 흘러나오는 것처럼 보입니다. 일부 로컬 배포는 우수한 성능을 제공하므로 모든 경우가 그렇지는 않지만, 일반적으로 사용자는 빠른 웹 환경에서 느린 로컬 환경으로의 급격한 변화를 경험하게 됩니다. 빠른 온라인 시스템에서 느린 로컬 시스템으로 넘어갈 때의 “문화 충격”에 대비해야 합니다.
간단히 말해서, 최상위 설정을 사용하지 않는 한(Nvidia RTX 4090 및 충분한 RAM을 갖춘 AMD Ryzen 5800X3D 등) 로컬 LLM의 전체 성능은 기존의 온라인 생성 AI 챗봇에 비해 떨어질 수 있습니다.
3. 복잡한 설정
로컬 LLM을 배포하는 과정은 웹 기반 AI 서비스에 가입하는 것보다 훨씬 복잡합니다. 인터넷에 연결되어 있다면 ChatGPT, Bard 또는 Bing AI 계정은 몇 분 안에 메시지를 주고받을 준비가 될 것입니다. 그러나 전체 로컬 LLM 스택을 설정하려면 프레임워크 다운로드, 인프라 구성, 다양한 구성 요소 통합 등의 과정이 필요합니다. 대형 모델의 경우, 설치를 간소화하는 도구를 사용하더라도 이 복잡한 과정에 몇 시간이 걸릴 수 있습니다. 일부 최첨단 AI 시스템은 로컬에서 실행하기 위해 여전히 깊이 있는 기술 지식이 필요합니다. 따라서 플러그 앤 플레이 방식의 웹 기반 AI 모델과 달리 자체 AI를 관리하려면 상당한 기술 지식과 시간 투자가 필요합니다.
4. 제한된 지식
많은 로컬 LLM은 과거의 데이터에 머물러 있습니다. 그들은 현재 사건에 대한 지식이 제한적입니다. ChatGPT가 인터넷에 접속하지 못했던 시기를 기억하십니까? 2021년 9월 이전 사건에 대한 질문에만 답변할 수 있었던 때가 있었죠? 초기 ChatGPT 모델과 유사하게 로컬 환경에서 호스팅되는 언어 모델은 종종 특정 시점 이전의 데이터만으로 훈련됩니다. 결과적으로 그들은 해당 시점 이후의 최신 개발 상황에 대한 정보가 부족합니다.
또한, 로컬 LLM은 실시간 인터넷 데이터에 액세스할 수 없습니다. 이는 주가나 날씨와 같은 실시간 질의에 대한 유용성을 제한합니다. 실시간 데이터를 활용하려면 로컬 LLM에 일반적으로 인터넷 연결 서비스와 통합하는 추가 레이어가 필요합니다. 인터넷 액세스가 필요한 이유 중 하나는 다음과 같습니다.
ChatGPT Plus로 업그레이드하는 것을 고려해 보세요!
로컬 LLM을 사용해야 할까요?
로컬 대형 언어 모델은 매력적인 이점을 제공하지만, 신중하게 고려해야 할 상당한 단점도 있습니다. 검열 감소, 향상된 개인 정보 보호, 오프라인 액세스, 비용 절감 및 사용자 정의는 로컬 환경에서 LLM을 설정하는 데 매력적인 요소입니다. 그러나 이러한 이점에는 대가가 따릅니다. 온라인에서 무료로 이용할 수 있는 LLM이 많기 때문에 로컬 LLM을 선택하는 것은 때로는 작은 일을 지나치게 크게 처리하는 것과 같을 수 있습니다. 하지만, 무료로 제공되는 서비스라면 사용자와 사용자가 생성하는 데이터가 상품일 가능성이 높습니다. 따라서 현재로서는 명확한 정답이 없습니다. 우선순위를 평가해 보면 지금이 전환에 적절한 시기인지 판단할 수 있을 것입니다.