In Statistics We Trust

주성분 분석(Principal Component Analysis, 이하 PCA)는 데이터에 대한 정보 손실을 최소화하면서 데이터에 내재된 유의미한 기저변수를 발견해내는 과정에 사용되는 기법이다. PCA는 1. 데이터 차원을 줄이는 과정 2. 데이터의 특징 추출 방법 등에 활용된다. PCA는 기존 데이터 \(\mathbf{X}\)가 \(D\)차원이라고 했을 때, 이 데이터를 최대한 잘 설명해줄 수 있는 \(M\)차원의 주성분(principal component)을 만들어내는...

앞선 포스팅에서 우리는 서로 다른 클래스의 데이터가 완벽하게 분리되는 OSH \((\mathbf{w},b)\)가 존재함을 가정했다. 하지만 현실에서는 그러한 OSH가 있다고 보기 어렵다. 설령 그런 OSH가 있다한들 그 OSH는 훈련 데이터에 대한 과적합(overfitting)일 수 있다는 의심부터 하는 것이 바람직하다. 따라서 우리는 현실에 존재할법한, 즉 아래의 이미지와 같이 데이터를 완벽하게 분리시키지는 못하는(nonseparable cases) 경우에도...

훈련 데이터가 다음과 같은 형태, \(\mathcal{D}= \left\{(x_{1},y_{1}),(x_{2},y_{2}),....,(x_{n},y_{n}) \right\}, y_{i} \in \{-1,1\}\) 로 주어졌다고 가정하자. 분류 문제의 가장 기본적인 아이디어는 데이터를 서로 다른 클래스로 분리시킬 수 있는 hyperplane(초평면)을 발견해내는 것이다. 하지만 아래의 그림 중 왼쪽과 같이 훈련 데이터를 분리시킬 수 있는 hyperplane의 경우의 수가 여러가지일 때를 생각해보자. 이러한 상황에서 우리는 어떻게...

로지스틱 회귀는 프로빗 모델처럼 반응변수 범주형인 케이스에서 활용할 수 있는 방법이다. 로지스틱 회귀는 새로운 변수(X)가 주어졌을 때, 반응 변수가 각 범주에 속할 확률이 얼마인지를 추정하며, 추정된 확률에 따라 반응 변수의 Class를 분류하게 된다. 일단 반응 변수의 클래스가 2가지인 경우, 즉 \(y \in \{0,1\}\) 로 표현되는 경우를 생각해보자. 그림처럼 성공/실패가 명확하게...

햡성곱 신경망(Convolutional Neural Network, 이하 CNN)은 주로 이미지, 음성인식에 쓰이는 딥러닝 기법으로 앞서 살펴본 NN의 심화형태라고 볼 수 있다. 기본적인 NN은 인접 계층의 모든 뉴런과 완전히 결합되어(fully-connected) 있다. 이처럼 완전하게 연결된 계층을 Affine 계층이라 하는데 기존의 NN은 다음의 그림과 같은 형태를 보일 것이다. 여기서 ReLU는 Sigmoid 함수처럼 결과 출력에 활용되는...