research notes

신경망 학습에 경사하강법을 사용하는 방법을 알아보기 위해 하나의 입력층, 은닉층, 출력층을 사용해 가장 단순한 신경망부터 시작 조금 더 복잡한 시나리오 구성을 위해 linear combination 및 activation을 추가하였으며, 순방향 전파 단계는(forwarded propagation) 단순히 하나의 출력이 다음 층의 입력으로 사용되는 것을 쉽게 알 수 있다. 신경망의 출력과(predict) 목표(target) 간의 차이를 최소화 하기 위해 모델의 각 매개변수가(가중치, weight) 오차함수의 결과에 얼마나 영향력을 미치는지 확인 후 해당 값을 이용해 반복적으로 경사하강법을 사용하여 가중치를 업데이트 한다. 오차함수에 대한 각 가중치의 영향력은 편미분 계산을 통해 확인할 수 있다. 아래 공식..

1. 수치 미분(numerical differentiation) 미분은 극한으로 짧은시간(순간)에서의 변화량을 뜻한다. 예) 물체의 시간에 따른 위치 변화율(위치의 미분) ⇒ 속도 매우 미세한 차이를(ex. h=0.0001) 이용하여 함수의 변화량을 구하는 방법을 수치 미분이라고 한다. 수치 미분의 결과에는 오차가 포함되어 있을 뿐만아니라 수백만 개 이상의 매개변수를 사용하는 신경망과 같이 변수가 여러 개인 함수를 미분 할 경우 변수 각각을 미분해야 하기 때문에 계산량이 많다는 문제점이 있다(현실적이지 않다). ⇒ 역전파의 등장 2. 연쇄법칙(Chain rule) 역전파를 이해하는 열쇠는 연쇄법칙이다. y=F(x)는 a=A(x), b=B(a), y=C(b)라는 세 함수로 구성된 합성 함수이며 이 때의 계..

1. 미분과 적분은 서로 역연산 관계이다. - 어떤 함수 f(x)에 미분을 수행하면 도함수 f'(x)를 구할 수 있다. - f'(x)를 적분하면 f(x)로 되돌아간다. (미분과 적분의 역연산관계) 2. 부정적분 공식 - 미분의 역과정을 부정적분이라 한다. $$ \int x^{n}dx = \frac{1}{n+1}x^{n+1}+C $$ * C는 적분 상수이며 0이든 1이든 상수라면 어떤 수이든 상관없음 - 부정적분의 선형성(k, l은 상수) $$ \int{\{k\cdot f(x) + l\cdot g(x)\}dx}=k\cdot\int{f(x)dx}+l\cdot\int{g(x)dx} $$ 3. 원시함수의 정의 함수 f(x)에 대해 F'(x)=f(x)를 만족하는 함수를 f(x)의 원시함수라 한다. 4. 정적분의 ..

테일러 급수란 어떤 함수를 다항식으로 근사하는 방법이며 아래식은 임의의 점 a에서의 테일러 급수를 나타낸다. 항이 많아질수록 근사의 정확도가 높아지며 테일러 급수에서 주의해야 될 사항은 좌변과 우변이 모든 x에 대해 같은 것이 아니라 x의 값이 a 근처에서만 성립한다는 점이다. 즉, x가 a에서 멀어지면 멀어질수록 오차가 커진다. 또한 a=0일 때의 테일러 급수를 매클로린 전개(Maclaurin's series)라고 한다. 아래 그림은 y=f(x)를 x의 2차 함수로 근사한 것이며, 근사한 2차 함수는 a에서 y=f(x)에 접하는 곡선이 된다. References: [1] 밑바닥부터 시작하는 딥러닝 3, 사이토 고키, 한빛미디어