시간 경과에 따른 역전파

시간 경과에 따른 역전파 (Backpropagation through time)

  • 개발 시퀀스 요소 손실 함수
L<t>(y^<t>,y<t>)=y<t>logy^<t>(1y<t>)log(1y^<t>)\mathcal{L^{<t>}}(\hat{y}^{<t>},y^{<t>})=-y^{<t>}\log{\hat{y}^{<t>}}-(1-y^{<t>})\log(1-\hat{y}^{<t>})
  • 전체 시퀀스 손실 함수
L(y^,y)=t=1TyL<t>(y^<t>,y<t>)\mathcal{L}(\hat{y},y)=\sum_{t=1}^{T_y}\mathcal{L^{<t>}}(\hat{y}^{<t>},y^{<t>})