research notes

* 다르파(DARPA, Defense Advanced Research Projects Agency)가 수행한 XAI Program에 대한 Summary 기고문 해석 1. Abstract DARPA는 사용자가 인공지능 시스템을 더 잘 이해하고(understand), 신뢰하며(trust) 효과적으로 관리할 수 있도록 하기 위해 2015년 설명가능한 인공지능(XAI) 프로그램 개발을 공식화하였으며, 2017년부터 4년 간의 XAI 연구 프로그램이 시작되었다. 그리고 XAI 연구 프로그램이 2021년에 종료됨에 따라 무엇이 성공하고 실패하였는지 그리고 무엇을 배웠는지에 대해 기술하였다. 2. Creation of XAI 머신러닝의 극적인 성공과 더불어 인공지능(AI) 기술에 대한 활용은 폭발적으로 증가하였고 점..

1. Partial Dependency Plot 개요 PDP는 관심 대상인 변수와(input features of interest) 타겟 간에 어떠한 관계가 있는지 두 대상간의 상호작용을 시각화하고 분석하는 방법이다. 이 때, 관심 대상인 변수는 최대 2개까지 함께 확인할 수 있는데 변수가 2개를 넘게 되면 타겟을 포함하여 시각화 해야하는 값이 3개를 넘어가면서 시각적으로 표현하기 매우 어렵기 때문이다. 여러개의 특징(features) 중에서 영향력을 보고 싶은 특징을(input features of interest) \(x_{s}\)(selected), 그 외 선택되지 않은 특징을 \(x_{c}\)(complement)라고 하자. PDP는 \(x_{s}\), \(x_{c}\) 간에 서로 독립임을 가정하..

각 개인 또는 기업의 요구사항 및 제한사항에 따라 여러 오픈소스 라이브러리를 활용하여 자체적인 MLOps 시스템을 구축할 수 있다. 현재 MLOps 관련하여 다양한 도구들이 매일 빠르게 개발 및 활용되고 있기 때문에 이러한 시스템을 구축하려면 MLOps 도구 환경에 대한 이해가 있어야 한다. 이와 관련하여 Linux Foundation의 LF AI 프로젝트는 아래와 같이 ML/AI 및 MLOps 도구에 대한 Landscape를 제시하였다. References: [1] https://ml-ops.org/content/state-of-mlops [2] https://landscape.lfai.foundation/

신경망 학습에 경사하강법을 사용하는 방법을 알아보기 위해 하나의 입력층, 은닉층, 출력층을 사용해 가장 단순한 신경망부터 시작 조금 더 복잡한 시나리오 구성을 위해 linear combination 및 activation을 추가하였으며, 순방향 전파 단계는(forwarded propagation) 단순히 하나의 출력이 다음 층의 입력으로 사용되는 것을 쉽게 알 수 있다. 신경망의 출력과(predict) 목표(target) 간의 차이를 최소화 하기 위해 모델의 각 매개변수가(가중치, weight) 오차함수의 결과에 얼마나 영향력을 미치는지 확인 후 해당 값을 이용해 반복적으로 경사하강법을 사용하여 가중치를 업데이트 한다. 오차함수에 대한 각 가중치의 영향력은 편미분 계산을 통해 확인할 수 있다. 아래 공식..

1. 수치 미분(numerical differentiation) 미분은 극한으로 짧은시간(순간)에서의 변화량을 뜻한다. 예) 물체의 시간에 따른 위치 변화율(위치의 미분) ⇒ 속도 매우 미세한 차이를(ex. h=0.0001) 이용하여 함수의 변화량을 구하는 방법을 수치 미분이라고 한다. 수치 미분의 결과에는 오차가 포함되어 있을 뿐만아니라 수백만 개 이상의 매개변수를 사용하는 신경망과 같이 변수가 여러 개인 함수를 미분 할 경우 변수 각각을 미분해야 하기 때문에 계산량이 많다는 문제점이 있다(현실적이지 않다). ⇒ 역전파의 등장 2. 연쇄법칙(Chain rule) 역전파를 이해하는 열쇠는 연쇄법칙이다. y=F(x)는 a=A(x), b=B(a), y=C(b)라는 세 함수로 구성된 합성 함수이며 이 때의 계..

** 한국산업기술진흥원(KIAT), AI 개발의 혁신견인차, 'MLOps'란 참고하여 작성 ** 1. MLOps란 - MLOps라는 용어가 처음 등장한 곳은 2015년 공개된 ‘ML 시스템에 숨겨진 기술 부채(Hidden Technical Debt in Machine Learning Systems)’ 논문 - 데이터 관리 및 ML 시스템 개발과 서비스 운영(Operations)을 통합해 안정적으로 상품·서비스를 출시할 수 있도록 신속·유연한 개발을 추구하는 협업 방식 - 개발, 통합, 테스트, 출시, 배포, 인프라 관리 등 ML 시스템 구성의 모든 단계에서 모델 재학습 자동화 및 모델 모니터링을 지원하며 ML 모델 라이프사이클을 관리 2. MLOps의 부상과 기업현실 AI 시장 확대로 사진, 동영상, 텍..

머신 러닝 실무자, 머신 러닝 프로젝트 관리자, 기술 회사 경영진을 포함하여 약 750명을 대상으로 한 설문조사에 따르면 (2020 state of enterprise machine learning, Algorithmia) 응답자의 절반은 회사에서 ML 모델을 배포하는 데 1주일에서 3개월이 걸린다고 응답하였고, 약 18%는 3개월에서 1년이 걸린다고 응답하였다. 또한, 보고서에 따르면 ML 기능을 개발할 때 직면하는 주요 과제는 규모(Scaling), 버전 제어(Versioning), 모델 재현성(Repreducticibility)이다. 1. 머신러닝은 기존의 소프트웨어와 어떻게 구분이되는가? (Data-centric) - 머신러닝을 기존 소프트웨어 영역과 구분짓는 기준은 바로 데이터다. 소프트웨어 개..

1. 데브옵스의 시작: 1990년대로 넘어오면서 기존의 복잡하고 무거운 개발 방법론에서 벗어나 좀 더 가볍고 유연한 접근 방법을 시도하면서 다양한 SW 개발 방법론들이 본격적으로 소개되기 시작되었다. 이러한 경량화 개발 방법론을 논의하기 위해 당대 내노라 하는 이들 개발자들이 모여 경량화 방법론에서 논의한 끝에 애자일 소프트웨어 개발의 목적과 가치를 애자일 선언문 형식(Agile Manifesto, 2001)으로 발표하면서 본격적으로 탄생하였다. 애자일은 전통적이지만 무거운 폭포수 방법론 대신 빠르게 개발하는 접근 방식으로 2000년대 IT 전성시대를 구가하는데 이바지하였다. 그러나 시스템 규모가 커지고 복잡해지면서 보다 안정적인 운영을 필요로 하게 되고 빠른 개발 방식에도 태클이 걸리기 시작하였고, 빠..

1. 미분과 적분은 서로 역연산 관계이다. - 어떤 함수 f(x)에 미분을 수행하면 도함수 f'(x)를 구할 수 있다. - f'(x)를 적분하면 f(x)로 되돌아간다. (미분과 적분의 역연산관계) 2. 부정적분 공식 - 미분의 역과정을 부정적분이라 한다. $$ \int x^{n}dx = \frac{1}{n+1}x^{n+1}+C $$ * C는 적분 상수이며 0이든 1이든 상수라면 어떤 수이든 상관없음 - 부정적분의 선형성(k, l은 상수) $$ \int{\{k\cdot f(x) + l\cdot g(x)\}dx}=k\cdot\int{f(x)dx}+l\cdot\int{g(x)dx} $$ 3. 원시함수의 정의 함수 f(x)에 대해 F'(x)=f(x)를 만족하는 함수를 f(x)의 원시함수라 한다. 4. 정적분의 ..

테일러 급수란 어떤 함수를 다항식으로 근사하는 방법이며 아래식은 임의의 점 a에서의 테일러 급수를 나타낸다. 항이 많아질수록 근사의 정확도가 높아지며 테일러 급수에서 주의해야 될 사항은 좌변과 우변이 모든 x에 대해 같은 것이 아니라 x의 값이 a 근처에서만 성립한다는 점이다. 즉, x가 a에서 멀어지면 멀어질수록 오차가 커진다. 또한 a=0일 때의 테일러 급수를 매클로린 전개(Maclaurin's series)라고 한다. 아래 그림은 y=f(x)를 x의 2차 함수로 근사한 것이며, 근사한 2차 함수는 a에서 y=f(x)에 접하는 곡선이 된다. References: [1] 밑바닥부터 시작하는 딥러닝 3, 사이토 고키, 한빛미디어