생성형 AI 검색의 등장과 웹 검색의 미래
생성형 인공지능(AI) 검색은 야후, 구글, 빙과 같은 기존 온라인 검색 방식의 진화된 형태입니다.
AI는 이미 우리 생활 곳곳에 깊숙이 침투해 있습니다. 스마트폰의 개인 비서(코타나, 시리, 구글 어시스턴트, 알렉사 등)에서부터 사물 인터넷(IoT) 기기 제어에 이르기까지, AI는 가정과 직장에서 우리의 일상에 많은 영향을 미치고 있습니다.
최근에는 AI가 멀티미디어 제작 분야까지 확장되어 키워드나 지침을 바탕으로 이미지, 영상, 오디오, 텍스트 등 다양한 콘텐츠를 만들어냅니다. 고도화된 AI는 이제 영상과 오디오를 완벽하게 편집할 수 있는 수준에 이르렀습니다. 이처럼 AI는 우리 삶의 모든 영역에서 중요한 역할을 하고 있으며, 조만간 웹 검색 방식에도 큰 변화를 가져올 것으로 예상됩니다.
생성형 AI 검색이란 무엇인가?
생성형 AI 검색을 이해하려면 먼저 생성형 AI 자체에 대한 이해가 필요합니다. 생성형 AI는 단순히 샘플 콘텐츠를 기반으로 텍스트, 이미지, 오디오, 프로그램 코드 등과 같은 새로운 콘텐츠를 생성하는 AI입니다.
개발자들은 기계 학습(ML) 모델을 활용하여 생성형 AI가 자연어와 같은 인간의 언어를 이해하도록 학습시킵니다. 이러한 AI 모델은 지도 학습, 비지도 학습, 또는 준지도 학습 방식으로 훈련될 수 있습니다.
생성형 AI 모델의 종류
생성형 AI는 AI 프로그램, 챗봇, 가상 비서 등을 훈련하기 위해 다양한 ML 모델을 사용합니다. 주요 모델과 그 특징은 다음과 같습니다.
생성 모델 vs. 판별 모델
AI 훈련에 사용되는 판별 모델에서는 인간 감독자가 입력된 샘플에서 둘 이상의 객체 간의 차이점을 학습하도록 AI를 훈련시킵니다. 예를 들어, AI에 10가지 다른 동물 이미지를 입력하면, 판별 모델은 각 동물을 성공적으로 구별할 수 있게 됩니다.
반면 생성 모델은 AI가 샘플 데이터를 참조하여 반감독 또는 비감독 방식으로 객체를 생성하도록 합니다. 생성 기계 학습 모델은 AI가 입력 데이터를 이해하고, 이해한 내용을 신경망 메모리에 저장하여 유사한 문제가 발생했을 때 활용할 수 있도록 합니다.
생성적 적대 신경망(GAN)
GAN은 AI 훈련을 위해 생성 모델과 판별 모델을 모두 결합한 기계 학습 알고리즘입니다. 생성 모델은 키워드나 질문과 같은 입력 벡터에서 샘플을 생성하고, 판별 모델은 생성된 샘플이 가짜인지 원본 입력인지 식별합니다. 만약 가짜라면, 생성 모델은 작업을 재수행하여 판별 모델에 새로운 출력을 생성합니다. 이 과정은 생성 모델이 판별 모델이 원본 입력과 구별할 수 없는 가짜 샘플을 만들 수 있을 때까지 반복됩니다.
트랜스포머 기반 모델
ML에 사용되는 트랜스포머 모델은 입력 벡터를 순차적으로 분석하는 심층 신경망입니다. 트랜스포머는 입력 시퀀스를 분석하여 출력이 무엇인지 예측합니다. 예를 들어, 관련 없는 단어 시퀀스를 입력하면, 트랜스포머는 단어를 분석하고 빈칸을 채울 수 있는 선행 또는 후속 단어를 예측하여 관련 없는 단어를 의미 있는 문장으로 변환할 수 있습니다.
트랜스포머에서 인코더는 입력 시퀀스의 모든 특징 또는 데이터 포인트를 추출하여 입력 벡터로 변환합니다. 그런 다음 디코더는 입력 벡터를 분석하여 데이터에서 문맥을 만들고 출력 시퀀스를 생성합니다.
다음과 같은 성공적인 트랜스포머 기반 AI 모델들이 개발되었습니다.
- GPT-3(Generative Pre-trained Transformer model 3), 일명 ChatGPT
- LaMDA(Language Model for Dialogue Applications), 구글 트랜스포머 기반
위 모델들을 활용하여 AI 개발자들은 다양한 기능적 생성 AI 프로그램을 성공적으로 개발했습니다. 이러한 프로그램은 이미지, 텍스트, 설명, 오디오와 같은 간단한 입력을 통해 다음 작업을 수행하거나 생성할 수 있습니다.
- 웹사이트, 잡지, 구글 이미지 검색 등 다양한 소스를 참조하여 실존하지 않는 인물 이미지 생성
- 스케치를 기반으로 실제 이미지 생성
- 한 예술 스타일에서 다른 예술 스타일로 스타일 변환
- MRI 데이터에서 CT 스캔 이미지 합성
- OpenAI의 DALL-E AI는 텍스트만으로도 뛰어난 이미지 생성 가능
- DeepMind, Amazon Polly 등 AI는 텍스트에서 사람의 음성 생성 가능
- 애플이 인수한 AI Music은 저작권 없는 대중음악을 사운드 트랙으로 변환 가능
생성형 AI 검색은 웹에서 정확한 콘텐츠를 제공하기 위한 AI의 다양한 도구와 기술의 조합입니다. 이러한 AI 기반 검색 기능을 사용하면 기존 검색 엔진에서 수많은 제안을 검색할 필요 없이 원하는 정보를 쉽게 얻을 수 있습니다.
생성형 AI 검색은 ChatGPT와 같이, 이미지, 비디오, 텍스트 등 다양한 형식의 콘텐츠가 한 화면에 제공되어 사용자가 온라인 소스를 통해 원하는 정보를 바로 확인하거나 소비할 수 있게 해줍니다.
생성형 AI 검색은 일반 온라인 검색과 어떻게 다른가?
아치(Archie) 검색 엔진이 1990년 9월 10일에 출시된 이후, 웹사이트 검색은 생성형 AI 검색이 대중화되고 접근하기 쉬워짐에 따라 완전히 바뀌게 될 것입니다.
일반적인 웹 검색은 사용자가 수동으로 수행하는 온라인 조사 과정입니다. 사용자는 검색 엔진의 검색 상자에 질문이나 키워드를 입력해야 합니다. 구글, 야후, 빙과 같은 검색 엔진 제공자는 독자적인 알고리즘에 따라 원하는 콘텐츠가 포함된 웹사이트를 평가합니다.
평가 요소에는 관련 틈새 시장의 웹사이트 권위, 독자층, 웹사이트 페이지 품질 등이 있습니다. 검색 엔진은 이러한 요소를 바탕으로 각 웹사이트의 순위를 매기고 순위에 따라 웹사이트를 표시합니다. 예를 들어, 순위가 1위인 웹사이트는 검색 엔진 결과 페이지의 맨 위에 표시됩니다.
간단히 말해서, 일반적인 온라인 검색 엔진은 콘텐츠를 생성하지 않습니다. 여러 웹사이트에서 콘텐츠를 가져올 뿐입니다. 검색 결과 링크를 클릭하면 특정 웹사이트로 바로 이동합니다.
그러나 생성형 AI 검색이 도입되면 사용자는 훨씬 더 제한적인 콘텐츠를 얻게 될 것입니다. 기본 AI는 모든 검색 결과를 분석하고 사용자 지정 콘텐츠를 생성한 다음 웹 브라우저를 통해 사용자에게 표시합니다. 생성형 AI가 콘텐츠를 생성하는 데 사용한 소스에 대한 링크도 제공될 수 있습니다.
생성형 AI 검색이 온라인 검색의 새로운 표준이 되면 다음과 같은 추가적인 차이점이 나타날 것입니다.
- 검색 쿼리의 결과로 생성되는 콘텐츠는 생성형 AI 검색 모델을 만든 회사의 편향에 따라 크게 달라질 수 있습니다.
- 일부 사용자들은 특정 생성형 AI 검색 도구(예: XYZ 도구)를 선호할 것이며, 이는 온라인 검색 기반 작업에 이상 현상을 증가시킬 수 있습니다.
- 이러한 검색 도구는 때때로 유사한 콘텐츠를 제공할 수 있으며, 게시자들은 자신의 웹사이트에 표절 콘텐츠를 업로드할 위험이 있습니다.
- 검색 결과는 텍스트, 이미지, 비디오, 오디오 등 다양한 형식의 관련 콘텐츠로 구성되어 직관적입니다.
- ChatGPT와 같은 인터페이스에서 콘텐츠를 바로 제공받게 되면 사용자의 웹사이트 방문 및 광고 상호작용이 줄어들 수 있습니다.
- 온라인 조사 노력이 크게 줄어듭니다. 더 이상 여러 웹 페이지를 읽고 직접 콘텐츠를 작성할 필요가 없습니다.
- AI 개발자들은 새로운 AI 기반 광고 및 수익 모델을 개발하여 운영 수익을 높일 것입니다.
- 웹 검색에 방해가 덜해지면서 검색 품질이 전반적으로 저하될 수 있습니다.
- 콘텐츠를 상업적인 목적으로 사용하려면 AI가 생성한 콘텐츠를 분석할 재능 있고 전문적인 온라인 연구 전문가와 데이터 분석가를 고용해야 합니다.
- 이러한 AI 기반 검색이 콘텐츠 출처 웹사이트에 연결되고 해당 웹사이트에 출처를 밝히는 방법에 대한 명확한 지침은 없습니다. AI는 참조 콘텐츠에 의존하지 않고는 콘텐츠를 생성할 수 없기 때문입니다.
다음으로는 생성형 AI 검색이 검색 엔진에 미치는 영향에 대해 알아보겠습니다.
생성형 AI 검색이 검색 엔진에 미치는 영향
다음은 생성형 AI 검색의 발전이 기존 검색 엔진에 미칠 수 있는 영향입니다.
- 구글, 야후, 덕덕고, 브레이브와 같은 검색 대기업의 인기가 크게 감소할 것입니다.
- 검색 엔진의 광고 수익도 크게 줄어들 것입니다.
- 자유롭고 공정한 웹 검색 결과에 영향을 미치고 웹사이트 소유자가 페이지의 콘텐츠를 표시하기 위해 생성형 AI 검색 제공자에게 비용을 지불하는 새로운 수익원이 생겨날 것입니다.
- 사용자가 다른 웹 페이지에서 필요한 콘텐츠를 얻을 수 있게 되면서 웹사이트 방문률은 크게 감소할 것입니다.
이제 생성형 AI 검색을 사용하는 일부 검색 엔진을 살펴보겠습니다.
생성형 AI 검색을 사용하는 검색 엔진
검색 엔진 회사들은 AI 기반 생성형 검색이 미래라는 것을 이미 인식하고 있습니다. 따라서 많은 검색 대기업들이 AI 검색 엔진을 위한 프로토타입 및 베타 테스트를 시작했습니다. 다음은 현재 사용할 수 있는 몇 가지 AI 기반 검색 엔진입니다.
#1. 빙
마이크로소프트는 ChatGPT 개발사인 OpenAI를 인수하는 데 그치지 않고, OpenAI의 독점 기술과 라이선스를 활용하여 빙 검색의 AI 기능을 향상시켰습니다. 이렇게 개선된 검색 엔진은 일반적으로 새로운 빙으로 알려져 있습니다.
새로운 빙 검색 엔진은 실제 질문에 대한 완벽한 답변을 제공합니다. 더 이상 키워드 기반 웹사이트 순위 지정 및 상위 순위 웹사이트의 데이터 수동 스크랩이 필요하지 않습니다. 또한 특정 분야의 전문가와 메시지를 주고받는 것처럼 검색 엔진과 채팅할 수도 있습니다.
검색 엔진 채팅 기능을 통해 기본 생성형 AI 모델이 제공하는 검색 결과를 개선하기 위해 최대 5개의 후속 질문을 할 수 있습니다. 새로운 빙은 단순히 온라인 웹 검색 결과를 얻기 위한 용도 외에도 다음과 같은 기능을 제공합니다.
- 다양한 주제 및 틈새 분야에 대한 정보 얻기
- ChatGPT와 같은 생성형 AI의 도움을 받아 창의적인 콘텐츠 제작
- 직관적이고 정확한 검색 결과를 얻을 수 있어 광고 및 클릭 유도 문구 팝업으로 인해 방해받지 않고 업무에 신속하게 집중 가능
#2. 구글
구글 검색은 이미 수년 동안 AI 검색 도구를 활용해 왔습니다. RankBrain은 구글이 2015년부터 웹사이트 순위를 매기기 위해 사용한 최초의 AI 도구입니다. 이 AI는 검색 결과를 해석하고 순위 계층 구조의 최상위에 관련 웹사이트를 배치합니다.
구글이 검색 엔진에서 사용하는 다른 AI 프로그램은 다음과 같습니다.
- 신경망 일치: 검색 엔진이 검색어와 페이지의 관련성을 파악하는 데 도움
- 자연어 처리 사전 훈련을 위한 트랜스포머 또는 BERT의 양방향 인코더 표현
- 휴대폰 또는 태블릿 카메라를 사용하여 물체를 검색하는 Google 렌즈
- 웹 검색 결과의 코로나19 백신 정보에 대한 멀티태스킹 통합 모델 또는 MUM
#3. You
You는 이미 상용화된 AI 검색 엔진 도구입니다. 사용자는 이를 통해 다음과 같이 다양한 검색 결과를 얻을 수 있습니다.
- SERP 상단에 앱, 도구 및 결과의 수가 표시됩니다.
- 오른쪽 패널에 “사람들이 묻는 질문” 결과 팝업이 나타납니다.
- YouChat에 대한 제안을 받을 수 있습니다.
- 레딧과 같은 권위 있는 소셜 미디어의 인기 토론 게시물을 표시합니다.
- 사용자는 동일한 검색에 추가 쿼리를 더할 수도 있습니다.
You는 현재 다음과 같은 AI 검색 제품을 제공하고 있습니다.
#4. Neeva
Neeva는 AI 기반 온라인 조사 또는 웹사이트 검색 도구입니다. Neeva는 검색 결과 페이지에서 광고를 제외하여 집중력을 방해하지 않는 검색 경험을 제공합니다. 사용자는 Neeva 검색 상자에 구체적인 질문을 입력할 수 있으며, 질문에 대한 단계별 답변을 거의 완벽하게 제공합니다. 더 이상 구글 검색 결과 상단에 표시되는 광고에 시달릴 필요가 없습니다.
Neeva는 구독자로부터 자금을 지원받는 온라인 검색 도구입니다. 일반적인 온라인 검색을 위해 앱을 사용하는 사용자로부터 수익을 창출합니다. 구글처럼 광고 수익에 의존하지 않으므로 사용자에게 더 나은 맞춤형 검색 결과를 제공할 수 있습니다.
작가의 의견
생성형 AI 기반 검색 엔진은 온라인 연구에 있어 여러 가지 문제를 야기할 수 있습니다. 이 회사들이 특정 웹사이트나 게시자의 콘텐츠를 홍보하기 위해 비용을 받고 수익 창출을 시작하면 온라인 검색은 매우 편향될 것입니다.
AI 검색 엔진 개발자들은 컨소시엄을 구성하여 자유롭고 공정한 검색을 위한 윤리적 지침을 마련해야 합니다.
지금까지 생성형 AI 검색의 정의, 기존 웹사이트 검색 방식과의 차이점 및 영향에 대해 자세히 논의했습니다. 또한 웹사이트 조사에 소요되는 시간을 최소화하면서 뛰어난 콘텐츠를 얻을 수 있는 새로운 생성형 AI 검색 도구의 예를 살펴보았습니다.
이 기사는 AI 기반 검색을 사용해야 할지 여부를 결정하는 데 도움이 될 것입니다. 하지만 생성형 기계 학습 기반 AI 검색은 월드 와이드 웹에서 새로운 트렌드가 될 것입니다.
다음으로는 ANI(Artificial Narrow Intelligence)에 대해 알아보십시오.