목차
주요 시사점
- Mistral AI의 AI 챗봇인 Le Chat은 가능성을 보여주지만 창의성과 프로그래밍 기술 면에서 ChatGPT에 뒤처집니다.
- 르챗의 코딩 능력은 ChatGPT보다 뒤떨어져 기본적인 작업에는 실패하지만, 상식 추론에는 뛰어납니다.
- Le Chat은 잠재력이 있을 수 있지만 ChatGPT와 같은 최고의 AI 챗봇과 경쟁하려면 추가 개선이 필요합니다.
Mistral의 Le Chat은 AI 챗봇 커뮤니티 내에서 주목을 받고 있으며 일부 관찰자들은 이를 ChatGPT의 잠재적인 경쟁자로 태그했습니다.
하지만 이 신생 AI 챗봇이 정말 그만한 가치가 있을까요? Mistral의 Le Chat이 ChatGPT보다 나은가요?
미스트랄AI 르샤트란?
르챗(Le Chat)은 프랑스 AI 스타트업 미스트랄 AI(Mistral AI)가 개발한 대화형 AI 챗봇이다. Mistral Large, Mistral Small 및 Mistral Next를 포함하여 Mistral이 소유한 여러 대형 언어 모델로 구동되며, 모두 AI 챗봇과 상호 작용할 때 사용하도록 선택할 수 있습니다. AI 챗봇 분야에 상대적으로 새로운 진입자임에도 불구하고 Gemini, GPT-4 등 업계 선두주자에 비해 작은 크기에도 불구하고 AI 모델의 성능이 뛰어나다는 점에서 높은 평가를 받고 있습니다.
이것이 무엇을 의미하는지 이해하려면 빌딩 블록을 가지고 놀고 있다고 상상해 보십시오. 블록이 많을수록 더 복잡하고 세밀한 구조를 만들 수 있겠죠? AI 언어 모델은 그와 약간 비슷합니다. 크기는 일반적으로 매개변수 개수로 표시됩니다. 따라서 AI 모델에서 “7B 매개변수” 또는 “70B 매개변수”와 같은 용어를 들어보셨을 것입니다. 매개변수 수는 모델이 응답을 이해하고 생성해야 하는 구성 요소의 수와 같습니다. 따라서 언어 모델에 더 많은 매개변수가 있으면 더 복잡하고 더 나은 응답을 이해하고 생성할 수 있습니다.
이제 GPT-4에는 약 1조 7600억 개의 매개변수가 있는 반면 Mistral AI에는 70억~560억 개의 매개변수가 있는 것으로 추정됩니다. 사이즈 차이 보이시죠? 따라서 Mistral AI가 괜찮은 성능을 게시하는 능력은 과대광고의 이유 중 하나입니다.
Le Chat은 ChatGPT가 누리는 홍보 수준이나 Gemini와 같은 브랜드 자산을 누리지 못하지만 잠재적인 ChatGPT 경쟁이 논의될 때마다 대화에 참여했습니다. 하지만 그것이 테이블 위에 올라갈 자격이 있나요?
저도 같은 생각을 했고, 이를 알아보기 위해 Le Chat을 광범위하게 테스트하여 ChatGPT와 어떻게 비교되는지 확인했습니다.
Le Chat과 ChatGPT: 창의성
창의성은 대화형 AI 챗봇의 성능을 판단하는 가장 중요한 지표 중 하나입니다. AI 챗봇의 목적은 인간의 대화 능력과 창의적 재능을 대규모로 복제하거나 모방하는 것입니다. 이는 창의성을 모든 AI 챗봇의 매우 중요한 강점으로 만듭니다. 전 세계는 1년 넘게 ChatGPT를 실험해 왔으며 그 창의력은 부인할 수 없습니다. 그러나 Le Chat은 어떻게 비교됩니까? 우리는 두 챗봇을 일련의 창의성 테스트에 적용했습니다.
저는 두 챗봇에게 “아티스트에게 자신을 어떻게 설명하시겠습니까?”라고 질문하면서 시작했습니다. 창의적이고 상상력이 풍부한 단어를 사용하여 자신을 개념화하는 능력을 테스트합니다.
ChatGPT가 아티스트에게 자신을 설명하는 방법은 다음과 같습니다.
Le Chat이 자체적으로 설명하는 방법은 다음과 같습니다.
두 가지 답변 모두 고유한 방식으로 적절했습니다. ChatGPT는 생생한 이미지와 은유를 사용하여 자신을 설명하는 데 더 많은 투자를 하여 창의적인 감각을 보여주었습니다. 반면 르샤(Le Chat)의 답변은 매우 정보 제공적이며 AI 챗봇으로서의 본질을 설명하는 데 중점을 두고 있습니다. 어떤 사람들은 ChatGPT의 반응이 보여주는 창의적인 재능과 예술적 접근 방식이 부족하다고 말할 수도 있습니다. 그러나 나는 ChatGPT의 추상적인 설명보다 Le Chat의 상상하기 쉬운 응답을 선호한다고 말할 수 있습니다.
그런 다음 나는 ChatGPT와 Le Chat에게 오이 재배를 통해 부자가 되는 것에 대한 랩 노래를 써달라고 요청했습니다. 우리는 다른 챗봇의 창의성을 테스트하는 데 사용한 까다로운 요청이었습니다. 웹에서 오이에 관한 랩 노래를 몇 개나 찾을 수 있나요?
ChatGPT의 응답은 다음과 같습니다.
Le Chat의 답변은 다음과 같습니다.
주관적인 문제일 수도 있지만 여기서는 ChatGPT의 응답이 더 나은 선택인 것 같았습니다. 르샤의 가사는 꽤 장황해 보였고, 래퍼가 내놓는 가사처럼 읽혀지지도 않았습니다. 두 가사가 음악으로 만들어지면 어떻게 들리는지 테스트하기 위해 Suno AI 음악 생성기를 사용하여 가사에서 음악을 생성했습니다. 3번의 시도 중 3번은 ChatGPT의 가사가 훨씬 더 좋게 들렸습니다. 다음은 두 AI 챗봇의 두 가지 샘플입니다. 어떤 챗봇이 더 나은지 판단할 수 있습니다.
ChatGPT의 가사에서 생성된 샘플
샘플 1:
샘플 2:
Mistral Le Chat의 가사에서 생성된 샘플
샘플 1:
샘플 2:
AI 챗봇을 사용하여 시, 기사 작성, 까다로운 업무 이메일 초안 작성 등 몇 가지 창의적인 작업을 시도했습니다. 큰 가능성을 보여줬음에도 불구하고 Le Chat은 모든 경우에서 ChatGPT보다 확실히 앞섰습니다. Le Chat이 특히 강한 분야 중 하나가 기사 작성이라는 점을 지적하는 것이 중요합니다. 비록 몇 가지 까다로운 프롬프트 스타일이 있었지만 말입니다. 그러나 종합적인 창의성 측면에서 메달은 ChatGPT에 돌아갑니다.
Le Chat과 ChatGPT: 프로그래밍 기술
코딩 능력은 주요 AI 챗봇의 핵심 요구 사항이 되었습니다. 괜찮은 코드를 작성하는 것은 기본적인 기술이지만, 엘리트들 사이에서 진정으로 두각을 나타내기 위해서는 AI 챗봇이 다양하고 복잡한 문제를 효과적으로 해결할 수 있는 코드 작성 능력을 입증해야 합니다. 우리는 이전에 프로그래밍 도구로서 놀라운 능력을 보여주는 ChatGPT를 사용하여 처음부터 전체 웹 앱을 구축했습니다. 하지만 Le Chat은 코드 작성에 얼마나 능숙합니까?
저는 두 챗봇에게 CSS, HTML, JavaScript를 사용하여 간단한 할 일 목록 앱을 작성하도록 지시했습니다. ChatGPT는 좋은 결과를 얻는 데 아무런 문제가 없었습니다. 생성된 코드를 복사하여 브라우저에서 미리 보았습니다. ChatGPT가 만든 내용은 다음과 같습니다.
프롬프트를 반복할 때마다 ChatGPT는 다양한 스타일을 사용하여 기능적인 할 일 목록 앱을 만들었습니다. 어떤 경우에도 생성된 코드가 작동하지 못했습니다.
Le Chat으로 동일한 프롬프트를 시도했을 때 이해하기 쉬운 코드가 생성되었지만 브라우저에서 실행하려고 시도했을 때 작동하지 않았습니다. 프롬프트를 세 번 반복한 후에는 설정된 작업을 완료할 수 있는 코드를 생성하는 인스턴스가 없습니다. 가장 기본적인 코딩 작업 중 하나인 위험 신호에서 실패했습니다!
물론 한 번의 실패한 테스트로 Le Chat을 판단하지는 않습니다. 다음으로 두 챗봇 모두에게 텍스트 암호화 및 해독을 위한 JavaScript 및 PHP 코드를 생성하도록 요청했습니다. 두 번째 테스트에서는 ChatGPT와 Le Chat 모두 설정된 작업을 수행할 수 있는 기능 코드를 생성했습니다. 그러나 Le Chat의 버전은 경험이 부족한 초급 프로그래머가 작성하는 것과 비슷해 보였습니다. 반면에 ChatGPT의 코드는 더 완전했고 숙련된 프로그래머가 작성한 것처럼 보였습니다.
버그 찾기 및 수정과 관련된 몇 가지 프로그래밍 테스트를 더 반복했는데 ChatGPT가 지속적으로 Le Chat보다 성능이 뛰어났습니다. 어떤 경우에는 Le Chat이 무엇을 해야 할지조차 몰랐습니다. Le Chat이 일부 영역에서는 ChatGPT까지 측정할 수 있는 좋은 기회가 있지만 코딩 기술은 그중 하나가 아닌 것 같습니다.
Le Chat과 ChatGPT: 상식과 논리적 추론
AI 챗봇의 흥미로운 점은 복잡한 작업을 쉽게 해결할 수 있지만 완료하는 데 기본적인 상식이 필요한 간단한 작업에서는 실패한다는 것입니다. ChatGPT와 같은 기존 챗봇과 Le Chat과 같은 신규 진입자 모두 인간 스타일의 상식과 논리적 추론이 필요한 작업을 해결하는 데 어려움을 겪는 많은 챗봇이 있습니다. 그렇다면 Le Chat과 ChatGPT는 이 측면에서 어떻게 비교됩니까?
나는 두 챗봇에게 “3리터 병과 5리터 병이 있다면. 3리터 병과 5리터 병을 사용하여 4리터의 물을 어떻게 측정할 수 있나요?”
ChatGPT는 재능으로 문제를 해결했습니다.
Le Chat은 동일한 작업을 시도했지만 다른 접근 방식을 사용하여 문제를 해결할 수 있었습니다.
이 테스트에서는 두 챗봇 모두 비슷한 성능을 보였습니다.
다음으로 우리는 두 챗봇 모두에게 다음과 같은 트릭 질문을 했습니다. “화성에서 온 우주선이 두 개로 나뉘어 한 부분은 브라질 근처 대서양에, 다른 부분은 일본 근처 태평양에 충돌한다면 생존자를 어디에 묻겠습니까?”
ChatGPT는 속임수를 간파하고 그에 따라 대응했습니다.
Le Chat도 속임수를 간파하고 그에 따라 대응했습니다.
더 많은 트릭 질문을 시도했는데 ChatGPT와 Le Chat 모두 상식과 논리적 추론 프롬프트를 다루는 데 꽤 능숙한 것 같았습니다. 그러나 더 복잡한 논리 질문의 경우 ChatGPT만이 올바른 응답을 제공할 수 있습니다.
Le Chat은 잠재적인 “ChatGPT 킬러”라는 소문을 불러일으켰지만, 우리의 테스트에 따르면 AI 챗봇 세계의 거물들과 진정으로 맞대결을 벌이려면 아직 해야 할 일이 점점 더 늘어나고 있는 것으로 나타났습니다. Le Chat은 상식 추론과 같은 분야에서 인상적인 기능을 보여줬지만 창의적인 결과와 코딩 기술은 ChatGPT에 비해 눈에 띄게 뒤떨어졌습니다. 프랑스의 AI 신생기업은 확실히 가능성을 보여주지만, 과대 광고 기계는 그 자체보다 조금 앞서 나갈 수 있습니다.
이전의 많은 야심 찬 경쟁자와 마찬가지로 Le Chat은 빅 리그에 대비하기 전에 지속적인 개선과 훈련이 필요합니다. 현재 ChatGPT와 같은 AI 챗봇은 여전히 AI 챗봇 세계의 확실한 왕입니다. 그러나 경쟁 분야는 점점 더 혼잡해지고 있으므로 리더들은 자신의 영예에 안주할 여유가 없습니다.