10.6 정리

그림 10-6 TD법 완료의 금빛 메달을 목에 걸고 지니와 함께 기분 좋은 하이파이브를 하며 11장 인공신경망 챕터로 발을 떼는 도로시와 토토

10장 시간차 학습(TD)의 여정을 총정리합니다. 매 발걸음마다 가치 함수를 즉시 갱신해 온 SARSA와 Q 러닝의 공식 및 차이점을 복습하고, 이를 토대로 상태 차원이 무한히 넓은 우주로 도약하기 위해 11장 신경망(Neural Network) 챕터로 향하는 도로시와 지니의 힘찬 전진을 함께 지켜봅시다!

---

이번 장에서는 TD법을 알아보았습니다. TD법은 (몬테카를로법과 마찬가지로) 에이전트가 실제로 행동한 결과를 이용하여 가치 함수를 평가합니다. TD법의 특징은 ‘지금’과 ‘다음’의 정보만으로 가치 함수를 갱신한다는 점입니다. 반면 몬테카를로법은 에이전트가 목표에 도달해야만 가치 함수를 갱신했습니다. 따라서 TD법이 가치 함수를 더 빠르게 갱신하리라 기대할 수 있습니다.

TD법으로 정책을 제어하는 알고리즘은 대표적으로 두 가지가 있습니다. 하나는 SARSA이고 다른 하나는 Q 러닝입니다. SARSA는 (일반적으로) 온-정책 방식입니다. TD법으로 Q 함수를 평가하고 ε-탐욕화를 통해 정책을 개선합니다. 이 ε-탐욕화를 통해 정책에서 ‘탐색’과 ‘활용’의 균형을 맞출 수 있습니다. 또한 SARSA는 오프-정책으로 확장할 수도 있음을 보여주었습니다.

마지막으로 벨만 최적 방정식을 기반으로 Q 러닝을 도출했습니다. Q 러닝은 오프-정책 방식이지만, 중요도 샘플링을 사용하지 않으면서 Q 함수를 갱신하는 방법입니다. Q 러닝을 통해 Q 함수를 효율적이고 안정적으로 갱신할 수 있습니다. 강화 학습에서 Q 러닝은 특히 중요한 알고리즘입니다. 우리는 드디어 Q 러닝이라는 중요한 무기를 손에 넣었습니다.