다층 퍼셉트론2 [모두의 딥러닝] #9장: 신경망에서 딥러닝으로 지금까지 오차를 줄이기 위한 방법 중 경사하강법에 집중해 공부했다. 하지만, 다층 퍼셉트론에 오차역전파가 사용될 때도 역시나,,, 한계점이 존재했는데.... 이 한계점이 바로 기울기 소실 문제이다. 활성화 함수의 미분값을 사용하여 가중치를 업데이트하게 되는데, 시그모이드 함수를 미분했을 때, 미분값은 점점 0에 가까워지는 것을 볼 수 있다... 결국, 층이 많아질수록 기울기가 소실되는 문제가 발생하게 된다. 이런 문제를 바탕으로 해결하기 위해 여러 고급 경사하강법이 개발되었는데...! 살펴보도록 하자~ 확률적 경사 하강법 적용실습) 데이터 로드 In [1]: import pandas as pd fish = pd.read_csv('https://bit.ly/fish_csv_data') fish_input .. 2022. 1. 22. [모두의 딥러닝] #7장: XOR 문제의 극복, 다층 퍼셉트론 앞써 6장에서 우리는 하나로 이루어진 퍼셉트론의 한계점, XOR문제를 살펴보았다. 이 문제를 해결하기 위해 많은 공학자들이 많은 시간 오랜 고민, 일명 인공지능 암흑기를 겪었다고 전해진다. 과연 공학자들은 이 문제를 어떻게 해결할 수 있었을까? 이번엔 그 해결법인 다층 퍼셉트론의 등장 배경과 더불어 기본 설계와 구성에 대해 공부해보았다. XOR 문제 해결하기 실습 코드) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 다층 퍼셉트론으로 XOR 문제 해결하기 (By. 은닉층) import numpy as np # 가중치(w)와 바이어스(b) w11 = np.array(.. 2022. 1. 22. 이전 1 다음
