(3) 목표 정책 스무딩: 값 함수의 좁은 피크에 과도하게 맞출 수 있는 결정적 정책에 대한 우려를 감안할 때 TD3는 값 함수에 대한 스무딩 정규화 전략을 도입했습니다. 선택된 작업 및 미니 배치에 대한 평균. 그라데이션 상승을 사용하여 그라데이션에서 제안한 방향으로 θ를 이동하여 가장 높은 수익을 생성하는 최상의 θ를 찾을 수 있습니다. 이제 정책 오프 정책 그라데이션이 계산되는 방법을 살펴보겠습니다. 샘플 을 수집하기 위한 동작 정책은 로 레이블이 지정된 알려진 정책(하이퍼매개 변수와 마찬가지로 미리 정의된 정책)입니다. 객관적인 함수는 이 동작 정책에 정의된 상태 분포에 대한 보상을 요약합니다. 이제 이 점수 함수를 최대화하는 매개 변수 θ를 찾으려고 합니다. 점수 함수를 최대화한다는 것은 최적의 정책을 찾는 것을 의미합니다. DDPG (Lillicrap, et al., 2015)는 딥 결정적 정책 그라데이션의 약자이며 DPG와 DQN을 결합한 모델이 없는 오프 정책 행위자-비평가 알고리즘입니다. DQN(딥 Q-네트워크)은 경험 재생 과 고정된 대상 네트워크를 통해 Q 기능 학습을 안정화합니다. 원래 DQN은 개별 공간에서 작동하며 DDPG는 결정적 정책을 학습하면서 배우 비평가 프레임 워크를 사용하여 연속 공간으로 확장합니다. 요약하면, 오프 정책 설정에서 정책 그라데이션을 적용할 때 가중치합계로 간단하게 조정할 수 있으며 가중치는 행동 정책에 대한 대상 정책의 비율입니다. 정책 그라데이션 방법의 주요 문제는 정책 그라데이션 (왼쪽.

mathbf{nnabla}_{{{{{{{theta}}}J오른쪽=수학{theta}=mathbf{theta}=mathbf{h}\)의 올바른 추정기를 얻는 것입니다. 그라데이션을 얻기위한 결정적 모델 기반 방법 (제이콥슨 & 메이네, 1970; 다이어 & 맥레이놀즈, 1970년; 하스도르프, 1976년). 그러나 auton이 되기 위해서는 절차를 소개하는 정책 행위자-비평가 알고리즘의 예를 살펴보겠습니다. 온-정책 행위자-비평가의 각 반복에서 두 가지 작업이 결정적으로 수행되고 정책 매개 변수에 대한 SARSA 업데이트는 위에서 계산한 새 그라데이션에 의존합니다. Woohoo! 상태 분포의 미분화를 포함하지 않고 그라데이션 계산을 많이 단순화하지 않는 객관적 함수의 미분의 변형을 제공한다.