research notes

1. 확률통계 기초개념 □ 통계학의 분류 기술통계(descriptive statistics): 조사해서 수집한 데이터를 수치나 표, 그래프 등으로 정리하고 데이터 전체가 나타내는 경향이나 성질을 파악하는 방법을 기술통계라고 한다. 추측통계(inference statistics): 수집한 샘플(표본이라고도 부른다)에서 모집단(전체)의 성질을 확률적으로 추측하는 방법. 즉, 전체를 조사하지 않고 무작위로 선택한 일부를 바탕으로 전체 상태를 예측하는 통계학이며 추정과 검정은 추측 통계의 핵심이 된다. 이 과정에서 표본은 전체에서 우연히 선택된 것에 불과하기 때문에 우연히 선택된 표본은 선택될 때마다 내용이 바뀐다.(즉, 확률의 개념이 적용된다) (추정) 국민 전체에서 임의로 선택한 1000명을 대상으로 흡연율..

1. 사건과 확률 ① 시행(trial) - 몇 번이고 반복할 수 있고 결과가 우연에 좌우되는 실험이나 관측 ex) 주사위 던지기, 동전 던지기 ② 표본공간(sample space) - 어떤 시행을 했을 때 일어날 수 있는 모든 결과를 모은 집합 ex1) 주사위를 던지는 시행의 표본공간: {1, 2, 3, 4, 5, 6} ex2) 동전을 던지는 시행의 표본공간: {앞, 뒤} ③ 사건(event) - 표본공간의 부분집합(표본공간의 일부분) ex1) 짝수 눈이 나오는 경우: {2, 4, 6}은 주사위를 던지는 시행의 사건 중 하나 ex2) 앞이 나오는 경우: {앞}은 동전을 던지는 시행의 사건 중 하나 ④ 근원사건(atom) - 표본공간의 단 하나의 성분으로 만들어지는 부분집합 ex1) 주사위를 던지는 시행의..

신경망 학습에 경사하강법을 사용하는 방법을 알아보기 위해 하나의 입력층, 은닉층, 출력층을 사용해 가장 단순한 신경망부터 시작 조금 더 복잡한 시나리오 구성을 위해 linear combination 및 activation을 추가하였으며, 순방향 전파 단계는(forwarded propagation) 단순히 하나의 출력이 다음 층의 입력으로 사용되는 것을 쉽게 알 수 있다. 신경망의 출력과(predict) 목표(target) 간의 차이를 최소화 하기 위해 모델의 각 매개변수가(가중치, weight) 오차함수의 결과에 얼마나 영향력을 미치는지 확인 후 해당 값을 이용해 반복적으로 경사하강법을 사용하여 가중치를 업데이트 한다. 오차함수에 대한 각 가중치의 영향력은 편미분 계산을 통해 확인할 수 있다. 아래 공식..

1. 수치 미분(numerical differentiation) 미분은 극한으로 짧은시간(순간)에서의 변화량을 뜻한다. 예) 물체의 시간에 따른 위치 변화율(위치의 미분) ⇒ 속도 매우 미세한 차이를(ex. h=0.0001) 이용하여 함수의 변화량을 구하는 방법을 수치 미분이라고 한다. 수치 미분의 결과에는 오차가 포함되어 있을 뿐만아니라 수백만 개 이상의 매개변수를 사용하는 신경망과 같이 변수가 여러 개인 함수를 미분 할 경우 변수 각각을 미분해야 하기 때문에 계산량이 많다는 문제점이 있다(현실적이지 않다). ⇒ 역전파의 등장 2. 연쇄법칙(Chain rule) 역전파를 이해하는 열쇠는 연쇄법칙이다. y=F(x)는 a=A(x), b=B(a), y=C(b)라는 세 함수로 구성된 합성 함수이며 이 때의 계..

1. 미분과 적분은 서로 역연산 관계이다. - 어떤 함수 f(x)에 미분을 수행하면 도함수 f'(x)를 구할 수 있다. - f'(x)를 적분하면 f(x)로 되돌아간다. (미분과 적분의 역연산관계) 2. 부정적분 공식 - 미분의 역과정을 부정적분이라 한다. $$ \int x^{n}dx = \frac{1}{n+1}x^{n+1}+C $$ * C는 적분 상수이며 0이든 1이든 상수라면 어떤 수이든 상관없음 - 부정적분의 선형성(k, l은 상수) $$ \int{\{k\cdot f(x) + l\cdot g(x)\}dx}=k\cdot\int{f(x)dx}+l\cdot\int{g(x)dx} $$ 3. 원시함수의 정의 함수 f(x)에 대해 F'(x)=f(x)를 만족하는 함수를 f(x)의 원시함수라 한다. 4. 정적분의 ..

테일러 급수란 어떤 함수를 다항식으로 근사하는 방법이며 아래식은 임의의 점 a에서의 테일러 급수를 나타낸다. 항이 많아질수록 근사의 정확도가 높아지며 테일러 급수에서 주의해야 될 사항은 좌변과 우변이 모든 x에 대해 같은 것이 아니라 x의 값이 a 근처에서만 성립한다는 점이다. 즉, x가 a에서 멀어지면 멀어질수록 오차가 커진다. 또한 a=0일 때의 테일러 급수를 매클로린 전개(Maclaurin's series)라고 한다. 아래 그림은 y=f(x)를 x의 2차 함수로 근사한 것이며, 근사한 2차 함수는 a에서 y=f(x)에 접하는 곡선이 된다. References: [1] 밑바닥부터 시작하는 딥러닝 3, 사이토 고키, 한빛미디어