13.6 정리
그림 13-6 정책 경사법 수식을 멋지게 완수하고 지니와 함께 기쁨의 피크닉을 즐기며 부록(Appendix) 단원을 기쁘게 마주하는 도로시와 토토
13장 정책 경사법의 긴 여정을 총정리합니다. REINFORCE 알고리즘에서 베이스라인을 거쳐 Actor-Critic으로 진화해 온 역사를 돌아보고, 가치 기반과 정책 기반 기법의 특징을 최종 복습하며, 책의 완결 및 부록(Appendix) 챕터로 향하는 도로시와 지니의 마지막 발걸음을 배웅해봅시다!
이번 장에서는 정책 기반 기법인 정책 경사법을 공부했습니다. 총 네 가지 정책 경사법 알고리즘을 배웠는데, 다음처럼 하나의 수식으로 통일하여 표현할 수 있습니다.
\[\nabla_{\theta} J(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta}} \left[ \sum_{t=0}^{T} \Phi_t \nabla_{\theta} \log \pi_{\theta} (A_t | S_t) \right]\]- $\Phi_t = G(\tau)$ (가장 간단한 정책 경사법)
- $\Phi_t = G_t$ (REINFORCE)
- $\Phi_t = G_t - b(S_t)$ (베이스라인을 적용한 REINFORCE)
- $\Phi_t = R_t + \gamma V(S_{t+1}) - V(S_t)$ (행위자-비평자)
이상의 네 가지 기법은 가중치인 $\Phi_t$에서 차이가 납니다. 가장 간단한 정책 경사법은 모든 시간에서 가중치가 $G(\tau)$입니다. 이를 개선하여 시간 t에서의 가중치를 수익 Gt로 평가하는 것
이 REINFORCE입니다. 여기에 베이스라인 기법을 추가하여 분산을 줄인 것이 ‘베이스라인을 적용한 REINFORCE’입니다. 네 번째의 행위자-비평자는 정책 외에 가치 함수도 신경망으로 모델링하는 기법입니다. 1번에서 4번으로 갈수록 고도화되며 더 나은 결과를 기대할 수 있습니다.
이 기법들 말고도 다음과 같이 Q 함수를 사용할 수도 있습니다(Q 함수를 사용해도 등식이 성립한다는 증명은 다른 문헌[19]을 참고하기 바랍니다).
\[\Phi_t = Q(S_t, A_t)\]또한 가치 함수를 베이스라인으로 사용하면 $\Phi_t$를 다음 식처럼 설정할 수 있습니다.
\[\begin{aligned} \Phi_t &= Q(S_t, A_t) - V(S_t) \\ &= A(S_t, A_t) \end{aligned}\]이처럼 Q 함수에서 가치 함수를 뺀 값, 즉 어드밴티지 함수를 사용할 수 있습니다(어드밴티지 함수는 8.4.3절 참고).