강화 학습이란 무엇입니까?

by

현대 인공 지능(AI) 분야에서 강화 학습(RL)은 가장 멋진 연구 주제 중 하나입니다. AI 및 머신 러닝(ML) 개발자는 자신이 개발하는 지능형 앱 또는 도구를 즉석에서 개선하기 위해 RL 사례에도 집중하고 있습니다.

머신 러닝은 모든 AI 제품의 원리입니다. 인간 개발자는 다양한 ML 방법론을 사용하여 지능형 앱, 게임 등을 훈련합니다. ML은 매우 다양한 분야이며 다양한 개발 팀이 기계를 훈련하는 새로운 방법을 제공합니다.

ML의 이러한 수익성 있는 방법 중 하나는 심층 강화 학습입니다. 여기에서 원하지 않는 기계 행동을 처벌하고 지능형 기계가 원하는 행동에 대해 보상합니다. 전문가들은 이러한 머신러닝 방식이 AI가 자신의 경험에서 배우도록 강요할 수밖에 없다고 생각합니다.

인공 지능 및 기계 학습 분야의 경력을 고려하고 있다면 지능형 앱 및 기계를 위한 강화 학습 방법에 대한 이 궁극적인 가이드를 계속 읽으십시오.

기계 학습에서 강화 학습이란 무엇입니까?

RL은 컴퓨터 프로그램에 기계 학습 모델을 가르치는 것입니다. 그런 다음 애플리케이션은 학습 모델을 기반으로 일련의 결정을 내릴 수 있습니다. 소프트웨어는 잠재적으로 복잡하고 불확실한 환경에서 목표에 도달하는 방법을 배웁니다. 이러한 종류의 기계 학습 모델에서 AI는 게임과 같은 시나리오에 직면합니다.

AI 앱은 시행착오를 통해 당면한 문제에 대한 창의적인 솔루션을 고안합니다. AI 앱이 적절한 ML 모델을 학습하면 제어하는 ​​기계에 프로그래머가 원하는 일부 작업을 수행하도록 지시합니다.

올바른 결정과 작업 완료를 기반으로 AI는 보상을 받습니다. 그러나 AI가 잘못된 선택을 하면 보상을 잃는 등의 불이익을 받게 된다. AI 애플리케이션의 궁극적인 목표는 게임에서 승리하기 위해 최대 보상 포인트를 축적하는 것입니다.

AI 앱의 프로그래머는 게임의 규칙이나 보상 정책을 설정합니다. 프로그래머는 또한 AI가 해결해야 하는 문제를 제공합니다. 다른 ML 모델과 달리 AI 프로그램은 소프트웨어 프로그래머로부터 힌트를 받지 않습니다.

AI는 최대 보상을 얻기 위해 게임 과제를 해결하는 방법을 알아내야 합니다. 이 앱은 시행착오, 무작위 시행, 슈퍼컴퓨터 기술, 정교한 사고 과정 전술을 사용하여 솔루션에 도달할 수 있습니다.

AI 프로그램에 강력한 컴퓨팅 인프라를 장착하고 사고 시스템을 다양한 병렬 및 역사적 게임 플레이와 연결해야 합니다. 그러면 AI는 인간이 상상할 수 없는 비판적이고 높은 수준의 창의성을 보여줄 수 있습니다.

#1. 최고의 인간 바둑 선수를 이기다

Google의 자회사인 DeepMind Technologies의 AlphaGo AI는 RL 기반 머신 러닝의 대표적인 사례 중 하나입니다. AI는 바둑이라는 중국 보드 게임을 합니다. 전술과 전략에 중점을 둔 3,000년 된 게임입니다.

프로그래머는 AlphaGo를 위한 RL 교수법을 사용했습니다. 그것은 인간과 자신과 수천 번의 바둑 게임 세션을 했습니다. 그러다 2016년에는 세계 최고의 바둑 이세돌을 1:1 대결에서 꺾었다.

#2. 실제 로봇 공학

인간은 작업이 미리 계획되고 반복되는 생산 라인에서 오랫동안 로봇 공학을 사용해 왔습니다. 그러나 행동이 미리 계획되지 않은 현실 세계를 위한 범용 로봇을 만들어야 한다면 그것은 큰 도전입니다.

그러나 강화 학습 지원 AI는 두 위치 사이에서 원활하고 탐색 가능하며 짧은 경로를 발견할 수 있습니다.

#삼. 자율주행차

자율 주행 차량 연구원은 RL 방법을 널리 사용하여 AI를 다음과 같이 가르칩니다.

  • 동적 경로 지정
  • 궤적 최적화
  • 주차 및 차선 변경과 같은 이동 계획
  • 컨트롤러, (전자제어장치) ECU, (마이크로컨트롤러) MCU 등 최적화
  • 고속도로에서의 시나리오 기반 학습

#4. 자동 냉각 시스템

RL 기반 AI는 거대한 사무실 건물, 비즈니스 센터, 쇼핑몰, 그리고 가장 중요한 데이터 센터에서 냉각 시스템의 에너지 소비를 최소화하는 데 도움이 될 수 있습니다. AI는 수천 개의 열 센서에서 데이터를 수집합니다.

또한 인간 및 기계 활동에 대한 데이터를 수집합니다. 이 데이터에서 AI는 미래의 열 발생 가능성을 예측하고 에너지를 절약하기 위해 냉각 시스템을 적절하게 켜고 끌 수 있습니다.

강화 학습 모델을 설정하는 방법

다음 방법을 기반으로 RL 모델을 설정할 수 있습니다.

#1. 정책 기반

이 접근 방식을 통해 AI 프로그래머는 최대 보상을 위한 이상적인 정책을 찾을 수 있습니다. 여기서 프로그래머는 값 함수를 사용하지 않습니다. 정책 기반 방법을 설정하면 강화 학습 에이전트는 각 단계에서 수행하는 작업이 AI가 보상 포인트를 최대화할 수 있도록 정책을 적용하려고 합니다.

기본적으로 두 가지 유형의 정책이 있습니다.

#1. 결정적: 정책은 주어진 상태에서 동일한 작업을 생성할 수 있습니다.

#2. 스토캐스틱: 생성된 동작은 발생 확률에 의해 결정됩니다.

#2. 가치 기반

반대로 가치 기반 접근 방식은 프로그래머가 주어진 상태에서 정책의 최대값인 최적의 가치 함수를 찾는 데 도움이 됩니다. 일단 적용되면 RL 에이전트는 해당 정책에 따라 하나 또는 여러 주에서 장기적인 수익을 기대합니다.

#삼. 모델 기반

모델 기반 RL 접근 방식에서 AI 프로그래머는 환경에 대한 가상 모델을 생성합니다. 그런 다음 RL 에이전트는 환경을 돌아다니며 학습합니다.

강화 학습의 유형

#1. 긍정적 강화 학습(PRL)

긍정적인 학습은 예상되는 행동이 다시 발생할 확률을 높이기 위해 몇 가지 요소를 추가하는 것을 의미합니다. 이 학습 방법은 RL 에이전트의 행동에 긍정적인 영향을 미칩니다. PRL은 또한 AI의 특정 행동의 강도를 향상시킵니다.

PRL 유형의 학습 강화는 AI가 오랫동안 변화에 적응할 수 있도록 준비해야 합니다. 그러나 너무 많은 긍정적인 학습을 주입하면 AI의 효율성을 감소시킬 수 있는 상태의 과부하가 발생할 수 있습니다.

#2. 네거티브 강화 학습(NRL)

RL 알고리즘이 AI가 부정적인 행동을 피하거나 중지하는 데 도움이 될 때 AI는 학습을 통해 미래의 행동을 개선합니다. 부정적인 학습이라고 합니다. 특정 행동 요구 사항을 충족하기 위해 AI에게 제한된 지능만 제공합니다.

강화 학습의 실제 사용 사례

#1. 전자 상거래 솔루션 개발자는 개인화된 제품 또는 서비스 제안 도구를 구축했습니다. 도구의 API를 온라인 쇼핑 사이트에 연결할 수 있습니다. 그러면 AI가 개별 사용자로부터 학습하여 맞춤형 상품 및 서비스를 제안합니다.

#2. 오픈 월드 비디오 게임에는 무한한 가능성이 있습니다. 그러나 게임 프로그램 뒤에는 플레이어의 입력을 학습하고 알 수 없는 상황에 적응하도록 비디오 게임 코드를 수정하는 AI 프로그램이 있습니다.

#삼. AI 기반 주식 거래 및 투자 플랫폼은 RL 모델을 사용하여 주식 및 글로벌 지수의 움직임에서 학습합니다. 따라서 그들은 투자 또는 거래를 위한 주식을 제안하기 위해 확률 모델을 공식화합니다.

#4. YouTube, Metacafe, Dailymotion 등과 같은 온라인 비디오 라이브러리는 RL 모델에서 훈련된 AI 봇을 사용하여 사용자에게 개인화된 비디오를 제안합니다.

강화 학습 대 지도 학습

강화 학습은 AI 에이전트가 순차적으로 의사 결정을 내리도록 훈련시키는 것을 목표로 합니다. 간단히 말해서 AI의 출력은 현재 입력의 상태에 따라 달라진다고 생각할 수 있습니다. 유사하게, RL 알고리즘에 대한 다음 입력은 과거 입력의 출력에 따라 달라집니다.

인간 체스 플레이어와 체스 게임을 하는 AI 기반 로봇 기계는 RL 기계 학습 모델의 한 예입니다.

반대로 지도 학습에서 프로그래머는 AI 에이전트가 시작 시 제공된 입력 또는 다른 초기 입력을 기반으로 결정을 내리도록 훈련합니다. 환경 물체를 인식하는 자율 주행 AI는 지도 학습의 좋은 예입니다.

강화 학습 대 비지도 학습

지금까지 RL 방법이 AI 에이전트가 머신 러닝 모델 정책에서 학습하도록 푸시한다는 것을 이해했습니다. 주로 AI는 최대 보상 포인트를 얻는 단계만 수행합니다. RL은 AI가 시행착오를 통해 스스로를 즉흥적으로 만들 수 있도록 도와줍니다.

반면 비지도 학습에서는 AI 프로그래머가 레이블이 지정되지 않은 데이터로 AI 소프트웨어를 도입합니다. 또한 ML 강사는 데이터 구조나 데이터에서 무엇을 찾아야 하는지에 대해 AI에게 아무 것도 알려주지 않습니다. 알고리즘은 주어진 알려지지 않은 데이터 세트에 대한 자체 관찰을 카탈로그화하여 다양한 결정을 학습합니다.

강화 학습 과정

이제 기본 사항을 배웠으므로 고급 강화 학습을 배울 수 있는 몇 가지 온라인 과정이 있습니다. 또한 LinkedIn 또는 기타 소셜 플랫폼에서 보여줄 수 있는 인증서를 받을 수 있습니다.

강화 학습 전문화: Coursera

ML 컨텍스트를 사용하여 강화 학습의 핵심 개념을 마스터하고 싶으십니까? 당신은 이것을 시도 할 수 있습니다 코세라 RL 코스 온라인으로 제공되며 자기 주도 학습 및 인증 옵션과 함께 제공됩니다. 다음을 배경 기술로 가져오면 이 과정이 적합합니다.

  • Python 프로그래밍 지식
  • 기본 통계 개념
  • 의사 코드와 알고리즘을 Python 코드로 변환할 수 있습니다.
  • 2~3년의 소프트웨어 개발 경험
  • 컴퓨터 과학 분야의 2학년 학부생도 지원 가능

이 과정은 별 4.8개이며 36,000명 이상의 학생들이 이미 다양한 시간에 과정에 등록했습니다. 또한, 이 과정은 지원자가 Coursera의 특정 자격 기준을 충족하는 경우 재정 지원이 제공됩니다.

마지막으로 앨버타 대학교의 앨버타 기계 지능 연구소(Alberta Machine Intelligence Institute)가 이 과정을 제공합니다(학점 없음). 컴퓨터 과학 분야의 존경받는 교수들이 코스 강사로 활동할 것입니다. 과정을 마치면 Coursera 인증서를 받게 됩니다.

Python의 AI 강화 학습: Udemy

금융 시장이나 디지털 마케팅에 관심이 있고 해당 분야에 대한 지능형 소프트웨어 패키지를 개발하려는 경우 다음을 확인해야 합니다. RL의 Udemy 과정. RL의 핵심 원칙 외에도 교육 콘텐츠는 온라인 광고 및 주식 거래를 위한 RL 솔루션을 개발하는 방법에 대해서도 지도합니다.

과정에서 다루는 몇 가지 주목할만한 주제는 다음과 같습니다.

  • RL의 높은 수준의 개요
  • 동적 프로그래밍
  • 모네 카를로
  • 근사법
  • RL과 주식 거래 프로젝트

지금까지 42,000명이 넘는 학생들이 이 과정에 참여했습니다. 온라인 학습 리소스는 현재 별 4.6개를 보유하고 있으며 이는 매우 인상적입니다. 또한 학습 콘텐츠가 프랑스어, 영어, 스페인어, 독일어, 이탈리아어 및 포르투갈어로 제공되기 때문에 이 과정은 글로벌 학생 커뮤니티를 대상으로 합니다.

Python의 심층 강화 학습: Udemy

딥러닝과 인공지능에 대한 호기심과 기본 지식이 있다면 이 고급 과정을 시도해 볼 수 있습니다. 파이썬의 RL 코스 Udemy에서. 학생들로부터 별 4.6개를 받은 이 과정은 AI/ML의 맥락에서 RL을 배우는 또 다른 인기 있는 과정입니다.

이 과정은 12개의 섹션으로 구성되어 있으며 다음과 같은 중요한 주제를 다룹니다.

  • OpenAI 체육관 및 기본 RL 기술
  • TD 람다
  • A3C
  • Theano 기초
  • 텐서플로우 기본
  • 초보자를 위한 Python 코딩

전체 과정은 10시간 40분의 헌신적인 투자가 필요합니다. 텍스트 외에도 79개의 전문가 강의 세션도 제공됩니다.

심층 강화 학습 전문가: Udacity

Nvidia Deep Learning Institute 및 Unity와 같은 AI/ML 분야의 세계적인 리더로부터 고급 머신 러닝을 배우고 싶으십니까? Udacity를 사용하면 꿈을 이룰 수 있습니다. 이것을 확인하십시오 심층 강화 학습 ML 전문가가 되기 위한 과정입니다.

그러나 고급 Python, 중급 통계, 확률 이론, TensorFlow, PyTorch 및 Keras에 대한 배경 지식이 필요합니다.

이 과정을 마치려면 최대 4개월의 부지런한 학습이 필요합니다. 과정 전반에 걸쳐 DDPG(Deep Deterministic Policy Gradients), DQN(Deep Q-Networks) 등과 같은 중요한 RL 알고리즘을 배우게 됩니다.

마지막 단어

강화 학습은 AI 개발의 다음 단계입니다. AI 개발 대행사와 IT 기업들은 이 분야에 투자를 아끼지 않고 있다.

RL이 많이 발전했지만 더 많은 개발 범위가 있습니다. 예를 들어, 별도의 RL 에이전트는 서로 지식을 공유하지 않습니다. 따라서 자동차를 운전하는 앱을 훈련하는 경우 학습 과정이 느려집니다. 물체 감지, 도로 참조 등과 같은 RL 에이전트는 데이터를 공유하지 않기 때문입니다.

그러한 도전에 창의성과 ML 전문성을 투자할 기회가 있습니다. 온라인 과정에 등록하면 고급 RL 방법과 실제 프로젝트에서의 응용에 대한 지식을 심화하는 데 도움이 됩니다.

또 다른 관련 학습은 AI, 머신 러닝 및 딥 러닝의 차이점입니다.