softmax-with-loss (1) 썸네일형 리스트형 Chapter 5. 오차역전파법 본 글은 "바닥부터 시작하는 딥러닝" 책을 바탕으로 작성되었습니다.- Chapter4에서 신경망의 가중치 매개변수의 기울기 구할 때, 수치 미분을 사용하였다.- 수치 미분은 구현이 쉽지만 계산 시간이 오래 거리는 단점이 있으므로, 이번 Chapter5에서는 효율적으로 계산할 수 있는 '오차역전파법'에 대해서 학습한다.5.1 계산 그래프- 계산 그래프와 같이, 계산을 왼쪽에서 오른쪽으로 전파하는 단계를 "순전파"라고 한다.- 순전파의 반대 방향의 단계를 "역전파"라고 한다.- 계산 그래프의 이점은 순전파와 역전파를 활용하여, 각 변수의 미분을 효율적으로 구할 수 있다. 5.2 연쇄법칙- 연전파는 '국소적인 미분'을 순반향과는 반대로 전달한다. (국소적: 자신과 직접 관계된 작은 범위)- 국소적 미분.. 이전 1 다음
