research notes

1. 인터넷에 돌아다니는 문제 거의 그대로 나오기 때문에 난이도 걱정은 크게 할 필요가 없음 2. 시험 준비를 위해서 여러 모델을 미리 준비하고 결과 확인 후 4/5가 나온다고 하면 다른 모델로 교체하여 5/5로 맞춰주는 것이 안전 3. 시험 시작 할 때 venv 새로 설치하고 시작을 하는데 굳이 TDC에서 설정하는 환경이 아니라 내가 미리 구성한 아나콘 다 환경을 사용해도 문제없음. 일단 파이참 들어가서 아나콘다 환경으로 바꾸고 시험을 봐도 된다. 4. 금액이 비싸긴한데 배운 것 정리하는 차원에서 한 번 쯤은 해볼 만한 시험인 듯 하다.

*** 딥 러닝을 이용한 자연어 처리 입문 (위키북스) 내용 요약 *** 1. RNN 기초 RNN(Recurrent Neural Network)은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델이다. RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 갖고있다. (이 때 xt, yt는 벡터이다.) 메모리 셀이 출력층 방향 또는 다음 시점인 t+1의 자신에게 보내는 값을 은닉 상태(hidden state) 라고 한다. 다시 말해 t 시점의 메모리 셀은 t-1 시점의 메모리 셀이 보낸 은닉 상태값을 t 시점의 은닉 상태 계산을 위한 입력값으로 사용한다. RNN은 입력과 출력의 길이를 다르게 설계 ..

1. K-Means Clustering 군집 중심점(Centroid)이라는 특정한 임의의 지점을 선택해 해당 중심에 가장 가까운 포인트들을 선택하는 군집화 기법 먼저 군집화의 기준이 되는 중심을 구성하려는 군집화 개수만큼 임의의 위치에 가져다 놓는다. 전체 데이터를 2개로 군집화하려면 2개의 중심을 임의의 위치에 가져다 놓는 것이다. 임의의 위치에 군집 중심점을 가져다 놓으면 반복적인 이동 수행을 너무 많이 해서 수행 시간이 오래 걸리기 때문에 초기화 알고리즘으로 적합한 위치에 중심점을 가져다 놓지만, 여기서는 설명을 위해 임의의 위치로 가정한다. 각 데이터는 가장 가까운 곳에 위치한 중심점에 소속된다. 이렇게 소속이 결정되면 군집 중심점을 소속된 데이터의 평균 중심으로 이동한다. 중심점이 이동했기 때문..

1. 텍스트 분석 종류 텍스트 분류(Text Classification): Text categorization이라고도 하며 문서가 특정 분류 또는 카테고리에 속하는 것을 예측하는 기법 감성 분석(Sentiment Analysis): 텍스트에서 나타나는 감정/판단/믿음/의견/기분 등의 주관적인 요소를 분석하는 기법을 총칭 텍스트 요약(Summarization): 텍스트 내에서 중요한 주제나 중심 사상을 추출하는 기법이며 대표적으로 토픽 모델링(Topic Modeling)이 있다. 텍스트 군집화(Text Clustering)와 유사도 측정: 비슷한 유형의 문서에 대해 군집화를 수행하는 기법 2. 텍스트 분석 수행 프로세스 머신러닝 기반의 텍스트 분석은 다음과 같은 프로세스 순으로 수행 ① 텍스트 사전 준비작..

If you want to build a solid model you have to follow that specific protocol of splitting your data into three sets: One for training, one for validation and one for final evaluation, which is the test set. The idea is that you train on your training data and tune your model with the results of metrics (accuracy, loss etc) that you get from your validation set. Your model doesn't "see" your vali..

1. save_weights_only=True, save_weights_only - True, False True인 경우, 모델의 weights만 저장됨. False인 경우, 모델 레이어 및 weights 모두 저장됨. 2. save_best_only=True, save_best_only - True, False True 인 경우, monitor 되고 있는 값을 기준으로 가장 좋은 값으로 모델이 저장됨. False인 경우, 매 에폭마다 모델이 filepath{epoch}으로 저장된다. (model0, model1, model2....) 3. train_dataset와 valid_dataset을 만들고 80% : 20%로 분할합니다. train_dataset = tfds.load('iris', split=..

위 예는 과소적합과(Underfitting) 과적합의(Overfitting) 문제를 보여줌과 동시에 비선형(non-linear) 함수를 근사화하기 위해 어떻게 다항 선형 회귀를 사용할 수 있는지 방법을 보여준다. 플롯은 근사화하려는 코사인 함수의 일부, 실제 함수의 샘플 및 다른 근사하려는 모델을 표시하고 있다. 먼저 선형함수(차수가 1인 다항식)가 훈련 샘플에 적합하지 않음을 알 수 있는데 이것을 과소적합이라고 한다. 차수가 4인 다항식은 실제 함수에 거의 완벽하게 근사하지만, 더 높은 차수의 모델은 훈련 데이터에 과적합된다. 즉, 훈련 데이터의 노이즈를 학습한다. 교차검증을(cross-validation) 이용하여 과적합/과소적합을 정량적으로 평가할 수 있다. 검증세트에서 평균 제곱 오차(MSE)를 ..

- 일반적으로 모델이 분류냐 회귀냐에 따라 성능평가지표는 여러 종류로 나뉜다. - 회귀의 경우 대부분 실제값과 예측값의 오차평균에 기반 ex) MAE, MSE 등 - 분류의 경우 회귀와는 다른 성능평가지표가 사용된다. - ex) 정확도(Accuracy), 오차행렬(Confusion Matrix), 정밀도(Precision), 재현율(Recall), F1-Score, ROC-AUC 1. 정확도 - 정확도(Accuracy) = 실제 데이터와 예측결과가 동일한 데이터 건수 / 전체 예측 데이터 건수 = (TN+TP) / (TN+FP+FN+TP) - 정확도 평가 지표는 불균형한 레이블 데이터 세트에서는 성능 수치로 사용돼서는 안 된다. 즉, 정확도는 불균형한(imblanced) 레이블 값 분포에서 ML 모델의 ..

들어가기전에... - 화이트 박스 모델은 설계상 설명이 가능하다. 따라서 설명을 위한 추가 작업이 필요하지 않다. - 블랙박스 모델은 자체적으로 설명할 수 없다. 따라서 블랙박스 모델을 설명하려면 모델의 내부 논리 또는 출력에서 결정에 대한 이유를 추출하기 위한 여러 테크닉을 활용 해야한다. Interpretable Machine Learning (IML) 기술은 크게 3가지 관점에서 분류 할 수 있다. (Complexity, Scope, Dependency) 관점 분류 분류 설명 Complexity Intrinsic 내재적으로 해석력을 확보하고 있는 머신러닝 모델을 ‘intrinsic(본래 갖추어진)’하다고 지칭한다. (e.g. Decision Tree) Post-hoc 모델 자체가 해석력을 지니지 않..

1. Estimator 이해 및 fit(), predict() 메서드 사이킷런은 매우 많은 유형의 Classifier와 Regressor 클래스를 제공한다. 이들 Classifier와 Regressor를 합쳐서 Estimator 클래스라고 부른다. 즉, 지도학습의 모든 알고리즘을 구현한 클래스를 통칭해서 Estimator라고 부른다. 2. 교차검증 ① 홀드아웃 교차검증(holdout cross-validation) 데이터를 학습 데이터 세트와 테스트 데이터 세트 두 개로 나누는 것이며, 보통 데이터의 2/3을 학습 데이터 세트로 사용하고 1/3을 테스트 세트로 사용한다. ② k-겹 교차검증(k-fold cross-validation) 가장 보편적으로 사용되는 교차검증 기법으로 먼저 k개의 데이터 폴드 세..