13.5 정책 기반 기법의 장점
그림 13-5 가치 표 대신 최적의 직접적인 길(정책 기반)을 선택하며, 안개 낀 미지의 연속 행동 공간을 탐험하는 도로시와 지니
DQN과 같은 가치 기반 학습에 비해 정책 기반 기법(Policy-Based Method)이 지니는 독보적인 메리트 3가지를 정리합니다. 정책 직접 모델링에 의한 최적화 효율성, 연속적인 행동 공간(Continuous Action Space) 제어 능력, 행동 확률의 부드러운 변화 등 정책 경사법만의 치명적인 매력을 지니와 함께 알아봅시다!
그렇다면 지금까지 살펴본 정책 기반 기법들의 장점은 무엇일까요? 대표적으로 다음의 세 가지를 들 수 있습니다.
1. 정책을 직접 모델링하기 때문에 효율적이다
우리가 궁극적으로 얻고자 하는 것은 최적 정책입니다. 가치 기반 기법은 가치 함수를 추정하고 이를 바탕으로 정책을 결정합니다. 반면, 정책 기반 기법은 정책을 ‘직접’ 추정합니다. 문제에 따라서는 가치 함수의 형태가 복잡한 반면, 최적 정책은 단순할 수 있습니다. 이런 경우 정책 기반 기법이 더 빠르게 학습하리라 기대할 수 있습니다.
2. 연속적인 행동 공간에서도 사용할 수 있다
지금까지 살펴본 강화 학습 문제들은 모두 행동 공간이 이산적이라고 가정했습니다. 예를 들어 <카트 폴>은 왼쪽과 오른쪽 중 하나의 행동을 선택합니다. 이러한 이산적 행동 공간에서는 (연속적이지 않은) 몇 가지 후보 중 하나의 행동을 선택합니다.
한편, 연속적인 행동 공간도 생각할 수 있습니다. 예를 들어 OpenAI Gym의 <Pendulum시계추>은 막대의 중앙에 회전력torque; 토크을 가해 막대를 들어 올리는 과제입니다. 이 과제에서의 행동은 ‘회전력을 어느 정도 세기로 가할 것인가’가 되며, 그 값은 가령 2.05나 -0.24 등의 연속적인 값이 될 수 있습니다.
그림 13-12 OpenAI Gym의 <Pendulum>
가치 기반 기법은 행동 공간이 연속적이면 적용하기 어려워집니다. 몇 가지 방법을 생각해볼 수 있는데, 그중 하나가 연속적인 행동 공간을 이산화하는 것입니다. 그러나 어떻게 이산화할 것인가(양자화quantization*)는 어려운 문제이며, 적합한 방법은 과제에 따라 다릅니다. 대부분의 문제에서는 적합한 이산화 방법을 시행착오를 거쳐 찾아내야 합니다.
반면, 정책 기반 기법은 연속적인 행동 공간에도 간단하게 대응할 수 있습니다. 예를 들어 신경망의 출력이 정규분포라고 한다면 신경망은 정규분포의 평균과 분산을 출력할 수 있습니다. 그 평균과 분산을 바탕으로 샘플링하면 연속적인 값을 얻을 수 있습니다.
그림 13-13 연속적인 값을 출력하는 신경망의 예
상태 S -> 신경망 -> 1.7 평균, 0.4 분산 -> 정규분포 -> 샘플링 -> 행동 1.82
* 옮긴이_ ‘양자화’란 변수의 값이 취할 수 있는 범위를 유한개의 구간으로 나눠서 원래 값 대신 해당 구간을 이용해 근사하는 과정을 말합니다.
3. 행동이 선택될 확률이 부드럽게 변화한다
가치 기반 기법에서 에이전트는 주로 ε-탐욕 정책에 따라 행동합니다. 그렇다면 기본적으로 Q 함수의 값이 가장 큰 행동이 선택되죠. 이때 Q 함수가 갱신되면서 값이 최대가 되는 행동이 바뀌면 행동하는 방식도 급격하게 달라집니다. 반면, 정책 기반 기법에서는 각 행동의 확률이 소프트맥스 함수에 의해 정해집니다. 따라서 정책의 매개변수를 갱신하는 과정에서 각 행동의 확률이 부드럽게 변화합니다. 이 덕분에 정책 경사법의 학습이 안정적으로 이루어질 수 있습니다.
이상이 정책 기반 기법의 장점입니다. 하지만 정책 기반 기법이 항상 좋은 것은 아니니 주의해야 합니다. 과제에 따라 더 잘하기도 혹은 못하기도 하죠. 또한 정책 기반이든 가치 기반이든 매우 다양한 구현 알고리즘이 존재합니다. 그래서 알고리즘을 선택할 때는 이러한 점을 잘 고려해야 합니다.