챗봇이나 인공지능(AI) 기반 봇을 사용하여 업무를 처리하거나 질문에 대한 답을 얻는 빈도가 얼마나 되시나요?
만약 당신의 대답이 ‘매우 자주’ 또는 ‘항상’이라면, 약간의 우려를 가질 필요가 있습니다.😟
AI 봇을 사용하여 연구 자료를 살펴보는 학생이든, AI를 통해 코드를 생성하려는 개발자이든, AI가 생성하는 결과물에는 오류가 발생할 가능성이 꽤 높습니다. 이는 주로 AI가 학습한 데이터의 불일치나 왜곡된 정보 때문입니다.
AI 및 머신러닝(ML) 모델이 반복적인 작업을 대신하고 자동화를 통해 많은 문제를 해결하며 세상을 변화시키고 있지만, 주어진 요청에 따라 정확한 결과를 얻기 위해서는 아직 개선해야 할 부분이 많습니다.
만약 콘텐츠 생성 도구나 챗봇을 사용하는 데 시간을 할애한다면, 곧 거짓 정보나 관련 없는 답변, 또는 단순히 지어낸 응답을 받고 있다는 것을 깨닫게 될 것입니다. 이러한 현상을 ‘AI 환각’ 또는 ‘조작’이라고 하며, 생성형 AI 봇에 의존하는 개인이나 조직에게 큰 문제로 대두되고 있습니다.
AI 환각을 경험했든 그렇지 않든, 이 주제에 대해 더 자세히 알고 싶으시다면 이 글을 통해 AI 환각의 의미, 발생 원인, 예시, 그리고 해결 가능성에 대해 알아보십시오.
시작해 볼까요!
AI 환각이란 무엇인가요?
AI 환각은 AI 모델 또는 대규모 언어 모델(LLM)이 허위, 부정확하거나 논리적이지 않은 정보를 생성하는 현상을 말합니다. AI 모델은 학습 데이터와 일치하거나 일치하지 않는 정보에 대해 확신에 찬 답변을 내놓고, 논리적인 근거가 없음에도 불구하고 그 데이터를 사실인 것처럼 제시합니다!
하지만 인간도 실수를 하잖아요!😅
ChatGPT와 같은 AI 도구 및 모델은 주로 사용자의 질문과 가장 관련성이 높은 단어를 예측하도록 훈련되어 있습니다. 봇은 종종 사실적이고 정확한 답변을 생성하지만, 때로는 이러한 알고리즘으로 인해 추론 능력이 부족하여 챗봇이 사실과 다른 내용이나 허위 정보를 내뱉기도 합니다.
즉, AI 모델은 때때로 사용자를 만족시키기 위해 응답을 “환상화”합니다. 다시 말해, 편향되거나, 불완전하거나, 전문가처럼 보이거나, 더 풍부한 정보를 제공해야 할 때가 있습니다.
AI 환각은 사소한 불일치부터 완전히 거짓되거나 조작된 답변까지 다양하게 나타날 수 있습니다. AI 환각의 몇 가지 유형은 다음과 같습니다.
#1. 문장 모순: 이는 LLM 모델이 이전에 언급했던 내용과 완전히 반대되는 문장을 생성할 때 발생합니다.
#2. 사실 모순: 이 유형의 환각은 AI 모델이 허위 정보를 사실인 것처럼 제시할 때 나타납니다.
#3. 프롬프트 모순: 이 환각은 결과물이 요청한 내용과 모순될 때 발생합니다. 예를 들어, “내 생일 파티에 친구들을 초대하는 초대장을 써줘”라는 요청에 대해 모델이 “엄마 아빠, 결혼기념일 축하해요”와 같은 결과를 내놓을 수 있습니다.
#4. 무작위 또는 관련 없는 환각: 이 환각은 모델이 주어진 질문과 전혀 관련 없는 내용을 생성할 때 발생합니다. 예를 들어 “뉴욕시의 특별한 점은 무엇인가요?”라는 질문에 대해 “뉴욕은 미국에서 가장 혼잡한 도시 중 하나입니다. 개는 인간의 가장 충성스러운 친구입니다.”와 같은 답변이 나올 수 있습니다.
참고: 생성형 AI 검색이 검색 엔진을 어떻게 바꾸고 있는지 알아보세요.
AI 환각의 예시
AI 환각의 주목할 만한 사례들이 몇 가지 있습니다. 다음은 AI 환각의 대표적인 예시입니다.
- 구글의 챗봇 Bard는 제임스 웹 우주 망원경이 우리 태양계 외부에 있는 외계 행성의 이미지를 세계 최초로 촬영했다고 허위 주장을 했습니다.
- 학생과 과학 연구자를 위해 개발된 2022년 Meta의 Galactica LLM 데모는 아바타 생성 관련 논문 초안을 작성해달라는 요청을 받았을 때, 사용자에게 부정확한 정보와 가짜 논문을 제공했습니다.
다음은 Google Bard가 실제로 존재하지 않는 “울고 있는 별에 대한 이야기를 들려주세요”라는 요청에 대해 환각적인 반응을 보이는 예시입니다.
다음은 존재하지 않는 인물인 ‘미스터 벤’에 대한 이야기를 통해 환각을 일으키는 ChatGPT (GPT-3.5)의 또 다른 예시입니다. “미스터 벤은 물을 주고, 개와 대화하고, 생명을 제어합니다.”
ChatGPT는 실제로 존재하지 않는 ‘미스터 벤’의 일상을 아침부터 밤까지 상세하게 묘사하며 주어진 요청에 따라 이야기를 만들어냈습니다. 이것이 바로 AI 환각이 나타나는 한 가지 이유입니다.
정말 놀랍지 않나요?
그렇다면 왜 이런 일이 발생하는 걸까요? AI가 환각을 일으키는 몇 가지 원인을 자세히 살펴보겠습니다.
AI 환각은 왜 발생할까요?
AI 환각에는 몇 가지 기술적인 원인과 이유가 있습니다. 가능한 이유는 다음과 같습니다.
- 저품질, 불충분하거나 오래된 데이터: LLM 및 AI 모델은 학습 데이터에 크게 의존합니다. 따라서 학습 데이터의 품질이 곧 모델의 품질을 결정합니다. 만약 AI 도구의 학습 데이터에 오류, 불일치, 편향 또는 비효율성이 있거나, 단순히 질문의 의도를 제대로 이해하지 못하는 경우, 도구는 제한된 데이터셋에서 결과를 생성하기 때문에 AI 환각이 발생할 수 있습니다.
- 과적합: 제한된 데이터셋으로 학습된 AI 모델은 요청과 적절한 답변을 기억하려고 시도합니다. 이로 인해 새로운 데이터를 효과적으로 생성하거나 일반화할 수 없게 되어 AI 환각으로 이어질 수 있습니다.
- 입력 컨텍스트: AI 환각은 불분명하거나, 부정확하거나, 일관성이 없거나 모순되는 요청으로 인해 발생할 수도 있습니다. AI 모델의 학습 데이터셋은 사용자가 직접 제어할 수 없지만, 사용자가 입력하는 요청은 사용자가 제어할 수 있습니다. 따라서 AI 환각을 방지하기 위해서는 명확한 요청을 제공하는 것이 중요합니다.
- 관용구나 속어 사용: 요청에 관용구나 속어가 포함된 경우 AI 환각이 발생할 가능성이 높습니다. 특히 모델이 해당 단어나 표현에 대해 학습하지 않은 경우 더욱 그렇습니다.
- 적대적인 공격: 때로는 공격자가 의도적으로 AI 모델을 혼란시키도록 설계된 요청을 입력하여 학습 데이터를 손상시키고 AI 환각을 유발할 수 있습니다.
AI 환각의 부정적인 영향
AI 환각은 개인과 조직 모두에게 심각한 결과를 초래할 수 있는 중요한 윤리적 문제입니다. AI 환각이 중요한 문제로 간주되는 이유는 여러 가지가 있습니다.
- 잘못된 정보의 확산: 학습 데이터의 오류나 불일치로 인한 AI 환각은 잘못된 정보의 대량 확산으로 이어질 수 있으며, 이는 개인, 조직 및 정부 기관 등 광범위한 영역에 영향을 미칠 수 있습니다.
- 사용자 간의 불신: AI가 만들어낸 허위 정보가 인터넷상에서 빠르게 확산되어 마치 권위 있는 정보나 사람이 직접 작성한 것처럼 보일 경우, 사용자의 신뢰가 무너져 인터넷상의 정보를 믿기 어려워질 수 있습니다.
- 사용자 피해: 윤리적인 문제와 오해를 일으키는 것 외에도, AI 환각은 질병, 치료법, 또는 치명적인 독버섯과 먹을 수 있는 버섯을 구별하는 방법과 같은 중요한 문제에 대한 잘못된 정보를 퍼뜨려 사람들에게 잠재적인 해를 끼칠 수 있습니다. 사소한 오류나 부정확한 정보도 사람들의 생명을 위협할 수 있습니다.
AI 환각을 발견하고 예방하는 모범 사례
위에서 언급한 AI 환각의 부정적인 영향을 고려할 때, 이를 예방하는 것이 매우 중요합니다. AI 모델을 개발한 기업들은 AI 환각을 줄이거나 제거하기 위해 노력하고 있지만, 사용자 또한 중요한 역할을 해야 합니다.
약간의 연구와 경험, 그리고 시행착오를 통해 챗봇이나 대규모 언어 모델(LLM)을 사용할 때 AI 환각을 발견하고 예방할 수 있는 몇 가지 전략을 소개합니다.
#1. 대표적이고 다양한 학습 데이터 사용
사용자는 실제 세계를 반영하는 다양한 학습 데이터셋을 활용하여 LLM을 사용해야 합니다. 이를 통해 결과가 편향되거나 부정확하거나 조작될 가능성을 줄일 수 있습니다.
동시에, 기업은 AI 모델의 학습 데이터셋을 정기적으로 업데이트하고 확장하여 사회, 정치, 그리고 기타 변화하는 사건들을 반영해야 합니다.
#2. 결과 또는 응답 제한
사용자는 원하는 응답 유형에 대한 구체적인 요청을 제공하여 AI 도구가 생성할 수 있는 잠재적인 응답 수를 제한할 수 있습니다.
예를 들어, 요청을 구체적으로 작성하고 모델에게 ‘예’ 또는 ‘아니오’로만 대답하도록 명령할 수 있습니다. 또는 모델이 선택할 수 있는 여러 가지 옵션을 제공하여 실제 답변에서 벗어나 환각에 빠질 가능성을 줄일 수도 있습니다.
ChatGPT GPT 3.5에 ‘예’ 또는 ‘아니오’로 답해야 하는 질문을 하면 다음과 같이 정확한 결과를 얻을 수 있습니다.
#3. 관련 데이터로 모델을 강화하고 기초 다지기
사전 지식이나 특정 맥락 없이 사람이 특정 문제나 질문에 대한 해결책을 제시할 것이라고 기대할 수는 없습니다. 마찬가지로 AI 모델의 성능은 학습 데이터셋의 품질에 달려 있습니다.
AI 모델의 학습 데이터를 관련 산업별 데이터 및 정보로 강화하거나 기초를 다지면 모델에 더 많은 맥락과 정보가 제공됩니다. 이러한 추가적인 맥락은 AI 모델이 환각적인 반응 대신 정확하고 합리적인 답변을 생성할 수 있도록 도와 AI 모델의 이해도를 높이는 데 기여합니다.
#4. AI 모델이 따를 데이터 템플릿 만들기
데이터 템플릿이나 미리 정의된 형식의 특정 공식 또는 계산 예시를 제공하면 AI 모델이 규정된 지침에 따라 정확한 응답을 생성하는 데 큰 도움이 될 수 있습니다.
지침과 데이터 템플릿을 사용하면 AI 모델에 의한 환각 가능성을 줄이고 생성된 응답의 일관성과 정확성을 보장할 수 있습니다. 따라서 표나 예시 형식의 참조 모델을 제공하면 AI 모델이 계산 과정을 안내하여 환각 사례를 제거할 수 있습니다.
#5. 모델에게 특정 역할을 부여하여 요청을 구체적으로 작성하세요
AI 모델에 특정 역할을 부여하는 것은 환각을 예방하는 가장 효과적인 방법 중 하나입니다. 예를 들어, “당신은 경험이 풍부한 기타 연주자입니다” 또는 “당신은 뛰어난 수학자입니다”와 같은 역할을 부여하고 특정 질문을 할 수 있습니다.
역할을 부여하면 가상의 환각 반응 대신 원하는 답변을 제공하도록 모델을 유도할 수 있습니다.
걱정하지 마세요. AI를 통해 여전히 즐거운 시간을 보낼 수 있습니다. (환각은 잠시 잊어두세요.) 바이러스성 AI 아트 만드는 방법을 확인해보세요!
#6. 온도를 사용하여 테스트하세요
온도는 AI 모델이 생성할 수 있는 환각 또는 창의적인 반응의 정도를 결정하는 데 중요한 역할을 합니다.
온도가 낮을수록 일반적으로 결정적이거나 예측 가능한 출력을 의미하지만, 온도가 높을수록 AI 모델이 무작위 반응을 생성하고 환각을 일으킬 가능성이 높다는 것을 의미합니다.
일부 AI 회사들은 사용자가 원하는 대로 온도 설정을 조정할 수 있는 도구와 함께 ‘온도’ 막대 또는 슬라이더를 제공합니다.
동시에 기업은 기본 온도를 설정하여 도구가 합리적인 반응을 생성하고 정확성과 창의성 사이의 적절한 균형을 유지하도록 할 수도 있습니다.
#7. 항상 확인하세요
마지막으로, AI가 생성한 결과를 이중 확인이나 사실 확인 없이 100% 신뢰하는 것은 현명하지 않은 행동입니다.
AI 기업과 연구자들이 환각 문제를 해결하고 이를 방지하는 모델을 개발하는 동안, 사용자 또한 AI 모델을 사용하거나 완전히 믿기 전에 AI 모델이 생성하는 답변을 검증하는 것이 중요합니다.
따라서 위에서 언급한 모범 사례를 사용하는 것과 더불어, 요청을 구체적으로 작성하고, 예시를 추가하는 등 AI를 안내하기 위한 요청 작성부터 시작하여 AI 모델이 생성하는 결과를 항상 확인하고 교차 검증해야 합니다.
AI 환각을 완전히 해결하거나 제거할 수 있을까요? 전문가의 의견
AI 환각을 제어하는 것은 우리가 제공하는 요청에 달려 있지만, 때로는 모델이 가짜와 사실을 구별하기 어려울 정도로 자신감 있게 결과를 생성하는 경우가 있습니다.
그렇다면 궁극적으로 AI 환각을 완전히 해결하거나 예방하는 것이 가능할까요?
이 질문에 대해 브라운 대학교의 수레시 벤카타수브라마니안 교수는 AI 환각을 예방할 수 있는지 여부는 “활발한 연구 주제”라고 답했습니다.
그 이유는 이러한 AI 모델의 특성, 즉 AI 모델이 얼마나 복잡하고 민감하기 때문이라고 덧붙였습니다. 요청에 약간의 변화만 주어도 결과가 크게 달라질 수 있습니다.
벤카타수브라마니안 교수는 AI 환각 문제를 연구의 중요한 부분으로 고려하고 있지만, 워싱턴 대학교 교수이자 정보 대중 센터 공동 창립자인 제빈 웨스트는 AI 환각이 결코 사라지지 않을 것이라고 믿습니다.
웨스트 교수는 AI 봇이나 챗봇에서 발생하는 환각을 역설계하는 것은 불가능하다고 믿습니다. 따라서 AI 환각은 AI의 본질적인 특성으로 항상 존재할 수 있습니다.
게다가 구글 CEO 순다르 피차이는 CBS 인터뷰에서 AI를 사용하는 모든 사람은 환각을 경험하지만 아직 업계에서 이 문제를 해결한 사람은 없다고 말했습니다. 거의 모든 AI 모델이 이 문제에 직면하고 있다고 덧붙였습니다. 그는 또한 AI 분야가 곧 AI 환각 문제를 극복하는 데 진전을 이룰 것이라고 확신했습니다.
한편, ChatGPT 개발사인 OpenAI의 CEO인 샘 알트먼은 2023년 6월 인도 델리에 있는 인드라프라스타 정보기술 연구소를 방문하여 AI 환각 문제가 1년 반에서 2년 안에 크게 개선될 것이라고 말했습니다.
그는 또한 모델이 정확성과 창의성의 차이, 그리고 둘 중 하나를 언제 사용해야 하는지 배워야 한다고 덧붙였습니다.
마무리
AI 환각은 최근 몇 년 동안 많은 관심을 받고 있으며, 가능한 한 빨리 해결하고 극복하기 위해 기업과 연구자들이 노력하고 있습니다.
AI는 눈부신 발전을 이루었지만 오류로부터 자유롭지는 않으며, AI 환각 문제는 의료, 콘텐츠 생성, 자동차 산업 등 여러 개인과 산업에 큰 과제를 안겨줍니다.
연구자들이 각자의 역할을 수행하는 동안, 구체적이고 정확한 요청을 제공하고, 예시를 추가하고, 유효하고 합리적인 응답을 활용하며, AI 모델의 학습 데이터를 조작하지 않고, 환각을 방지하기 위한 데이터 템플릿을 제공하는 것은 사용자로서 우리의 책임입니다.
AI 환각이 완전히 해결되거나 치료될 수 있을지는 여전히 의문입니다. 하지만 저는 개인적으로 희망이 있다고 믿습니다. 우리는 AI 시스템을 계속해서 사용하여 책임감 있고 안전하게 세상을 이롭게 할 수 있습니다.
일상생활에서 AI가 사용되는 몇 가지 예시를 살펴보세요.