반응형 역전파 기초2 [DL] Backpropagation 역전파 이해하기 📌들어가며 본 포스팅에서는 Backpropagation 역전파에 대해서 알아봅니다. 혹여 잘못된 부분이 있거나 질문이 있으시면 댓글 남겨주세요. Back Propagation(역전파)이란? 역전파는 신경망의 각 노드가 가지고 있는 가중치(Weight)와 편향(Bias)을 학습시키기 위한 알고리즘으로 목표(Target)와 모델의 예측 결과(Output)가 얼마나 차이 나는지 확인하고 그 오차를 바탕으로 가중치(Weight)와 편향(Bias)를 뒤에서 부터 앞으로 갱신해가는 것을 의미한다. 역전파를 이해하기 위해서 순전파를 우선적으로 설명한다. Forward Propagation(순전파) 위 그림은 역전파의 이해를 위해서 3개의 층을 갖는 인공 신경망을 가져왔다. 해당 인공 신경망을 대략적으로 설명하면 두개.. 2023. 9. 21. [파이썬 딥러닝]순전파와 역전파 기초 덧셈 노드의 순전파와 역전파 순전파는 우리가 알고 있는 덧셈입니다. 위 그림을 보면 덧셈노드를 통해 더하게 됩니다. 따라서 순전파를 통과하면 z = x + y라는 식이 나옵니다. 이 식을 편미분을 하게되면 z를 x에 대해 미분해도 y를 통해 미분해도 모두 1이 됩니다. 따라서 역전파때 상류에서 전해진 미분값을 그대로 하류로 흘리게 됩니다. 곱셈 노드의 순전파와 역전파 곱셈 노드도 순전파는 덧셈 노드와 크게 다르지 않습니다. 우리가 알고 있던 곱셈입니다. z = xy라는 식을 미분하면 z를 x에 대해 미분 했을대 y가 되고 z를 y에 대해 미분 했을때 x가 남게 됩니다. 따라서 곰셈의 역잔파에서는 입력 신호를 바꾼 값을 곱하여 흘려 보내줍니다. 때문에 곱셈의 역전파는 순방향 입력 신호의 값이 필요합니다. .. 2023. 3. 28. 이전 1 다음 반응형
