인공신경망2 [모두의 딥러닝] #9장: 신경망에서 딥러닝으로 지금까지 오차를 줄이기 위한 방법 중 경사하강법에 집중해 공부했다. 하지만, 다층 퍼셉트론에 오차역전파가 사용될 때도 역시나,,, 한계점이 존재했는데.... 이 한계점이 바로 기울기 소실 문제이다. 활성화 함수의 미분값을 사용하여 가중치를 업데이트하게 되는데, 시그모이드 함수를 미분했을 때, 미분값은 점점 0에 가까워지는 것을 볼 수 있다... 결국, 층이 많아질수록 기울기가 소실되는 문제가 발생하게 된다. 이런 문제를 바탕으로 해결하기 위해 여러 고급 경사하강법이 개발되었는데...! 살펴보도록 하자~ 확률적 경사 하강법 적용실습) 데이터 로드 In [1]: import pandas as pd fish = pd.read_csv('https://bit.ly/fish_csv_data') fish_input .. 2022. 1. 22. [모두의 딥러닝] #6장: 가장 작은 인공신경망 단위, 퍼셉트론 지금까지 인공신경망 구축의 기본적인 원리를 이해 하고, 인공신경망 구축을 위한 튼튼한 기초를 잡아왔다. 이제 본격적으로 인공신경망을 뜯어볼 것이다! 우선 인공신경망의 가장 작은 단위인 퍼셉트론의 개요를 알고 어떠한 한계점을 갖고, 어떻게 해결해 나갔는지에 대해 공부해보려고 한다. 이번 스터디 내용중 가장 신기했던 것은 결국 인공신경망은 인간의 뉴런을 표본으로 구축되었다는 점이었다. 이 호기심은 더 나아가 세상 수많은 인간들이 어떻게 각기 다른 생각을 하며 다른 결론에 도달하는지에 대해 생각해보게 되었다. 2022. 1. 22. 이전 1 다음
