경사 하강법1 [경사 하강법 #1] 경사 하강법에 대해 알아보자 - 1 딥러닝 학습의 핵심은 아래와 같다. 입력에 따른 모델의 결과와 실제 결과와의 차이를 손실 함수(loss function)로 나타낸다. 손실 함수의 최솟값을 찾는 방법을 적절히 이용하여 둘 사이의 오차를 구한다. 손실 함수에서 얻은 오차를 편미분을 이용하여 역전파를 이용해 모델의 가중치를 갱신한다. 이를 계속적으로 반복한다. 이 순환이 마치 사람이 학습을 하는 것과 비슷하여 학습이라는 단어를 사용한다. 그렇다면 처음부터 차근차근 확인해보자. 딥러닝 모델은 엄연히 비선형 함수다. 함수이기 때문에 아래의 수식을 당연하게도 만족한다. 여기서 x는 입력이고, y는 x에 대한 결과다. f는 딥러닝 모델이다. 하지만 딥러닝 모델의 초기 설정은 누군가가 학습을 시킨 것.. 2022. 9. 26. 이전 1 다음 728x90
