기울기 소실 문제1 [모두의 딥러닝] #9장: 신경망에서 딥러닝으로 지금까지 오차를 줄이기 위한 방법 중 경사하강법에 집중해 공부했다. 하지만, 다층 퍼셉트론에 오차역전파가 사용될 때도 역시나,,, 한계점이 존재했는데.... 이 한계점이 바로 기울기 소실 문제이다. 활성화 함수의 미분값을 사용하여 가중치를 업데이트하게 되는데, 시그모이드 함수를 미분했을 때, 미분값은 점점 0에 가까워지는 것을 볼 수 있다... 결국, 층이 많아질수록 기울기가 소실되는 문제가 발생하게 된다. 이런 문제를 바탕으로 해결하기 위해 여러 고급 경사하강법이 개발되었는데...! 살펴보도록 하자~ 확률적 경사 하강법 적용실습) 데이터 로드 In [1]: import pandas as pd fish = pd.read_csv('https://bit.ly/fish_csv_data') fish_input .. 2022. 1. 22. 이전 1 다음
