ReLU함수 (1) 썸네일형 리스트형 [Deep Learning from Scratch] CHAPTER 5 오차역전파법 이전 까지는 신경망의 가중치 매개변수에 대한 손실 함수의 기울기는 수치 미분을 사용하여 구했습니다. 그러나 수치 미분은 단순하고 구현하기도 쉽지만 계산이 오래 걸린다는 단점이 있습니다. 따라서 5장에서는 가중치 매개변수의 기울기를 효율적으로 계산하는 '오차역전파법(backpropagation)'을 소개합니다. 1) 계산 그래프를 사용하여 시각적인 이해를 한 후 2) 수식을 사용한 구현 5.1 계산 그래프 계산 그래프(computational graph) : 계산 과정을 그래프로 나타낸 것 → 노드(node)와 에지(edge)로 표현 (노드 : 원, 에지 : 노드 사이의 직선) 5.1.1 계산 그래프로 풀다 순전파(forward propagation) 계산 방향 : 왼쪽에서 오른쪽으로 진행 (출발점 → 종.. 이전 1 다음
