APPENDIX B

n단계 TD법

그림 B-0 한 걸음 전진 대신 세 걸음(n-step)을 한꺼번에 껑충 뛰어 발판의 누적 보상을 한번에 갱신하는 도로시와 지니

---

도로시와 토토의 비유로 이해하기: 도로시는 바로 눈앞의 한 발자국만 관찰하는 대신, 길다란 망원경을 들고 저 멀리 n단계 뒤의 발판과 보물상자를 바라봅니다. 딱 한 걸음만 걷고 정산하던 기존 TD법에서 나아가, n단계를 걷고 나서 얻은 신뢰도 높은 정보로 현재 가치 추정치를 더 넓은 시야에서 보정합니다!

6장에서 설명한 TD법에서는 1단계 앞 정보만을 TD 목표로 이용했습니다. 그런데 2단계 앞, 3단계 앞 등, 더 오래전 정보까지 활용하도록 확장할 수 있습니다. 이것이 바로 ‘n단계 TD법’의 아이디어입니다.

다음은 가치 함수의 갱신식입니다.

\[V_{\pi}(S_t) = V_{\pi}(S_t) + \alpha \{ G_t^{(n)} - V_{\pi}(S_t) \}\]

여기서 TD 목표인 $G_t^{(n)}$은 $n$의 값에 따라 다음과 같이 값이 달라집니다.

$n=1$일 때 $G_t^{(1)} = R_t + \gamma V_{\pi}(S_{t+1})$ $n=2$일 때 $G_t^{(2)} = R_t + \gamma R_{t+1} + \gamma^2 V_{\pi}(S_{t+2})$ $\cdots$ $n=\infty$일 때 $G_t^{(\infty)} = R_t + \gamma R_{t+1} + \gamma^2 R_{t+2} + \cdots$

$n=1$일 때는 7장에서 설명한 TD법이 됩니다. 그리고 $n=\infty$일 때는 목표에 도달했다는 뜻이며, 이는 곧 MC법에 해당합니다. 이처럼 n단계 TD법에서 $n=1$과 $n=\infty$라는 양 극단은 각각 TD법과 MC법에 대응하며, 그 사이에 중간 단계들이 있다고 해석할 수 있습니다.

그렇다면 적절한 $n$값을 어떻게 선택해야 할까요? 물론 문제에 따라 최적의 $n$값은 달라집니다.

부록 B n단계 TD법 349

팁을 하나 드리자면, 최적의 $n$을 하나만 고르려고 하지 말고 $n$개의 TD 목표를 모두 사용하는 편이 좋습니다. 이렇게 하면 전체 TD 목표를 각 TD 목표의 ‘가중 합’으로 표현할 수 있습니다. 이를 TD($\lambda$)라고 합니다(‘티 디 람다’로 발음). TD($\lambda$)의 TD 목표는 다음 식으로 표현됩니다.

\[G_t^{\lambda} = (1 - \lambda)G_t^{(1)} + (1 - \lambda)\lambda G_t^{(2)} + \cdots + (1 - \lambda)\lambda^{n-1} G_t^{(n)}\]

이 식과 같이 $G_t^{(1)}$부터 $G_t^{(n)}$까지, $n$개의 TD 목표를 모두 사용합니다. 그리고 $n$이 증가함에 따라 각 항의 가중치에 $\lambda$의 ($n - 1$) 제곱을 곱해줍니다($\lambda$는 0에서 1 사이의 실수). 참고로 $n = \infty$일 때 이 식의 가중치들을 모두 더하면 1이 됩니다(다음 식 참고).

\((1 - \lambda) + (1 - \lambda)\lambda + (1 - \lambda)\lambda^2 + \cdots = (1 - \lambda)(1 + \lambda + \lambda^2 + \cdots)\) \(= (1 - \lambda)\frac{1}{1 - \lambda}\) \(= 1\)

이상으로 n단계 TD법과 TD($\lambda$)에 대해 알아보았습니다.