In Statistics We Trust

모수 \(\Theta=(\theta_{1},...,\theta_{p})\) 의 Posterior distribution인 \(\pi(\theta\mid x)\)로 부터 \(\Theta\)에 대한 Sampling을 진행하고자 한다. Gibbs Sampler의 경우, 각 parameter \(\theta_{k}\)의 full conditional posterior를 활용하며, 이 경우에는 \(p(\theta_{k}\mid\theta_{-k})\) 가 우리가 아는 closed form 형태의 분포 형태를 가져야 한다. 만약 \(\theta_{k}\)에 대해 full conditional posterior가 closed form으로 나오지 않는다면, 다음과 같이 Metropolis-Hastings Algorithm을...

변분 추론(이하 Variational Inference)는 속도가 느린 MCMC 방법을 대체할 수 있는 방법으로 MCMC보다는 정확성이 떨어지지만, 속도 측면에서는 MCMC보다 우수한 성질을 가지고 있다. Variational Inference는 우리가 추정하고자하는 복잡한 형태의 Target Distribution을 근사하는 분포를 찾는 과정에서 우리가 이미 알고 있는 간단한 형태의 분포를 활용하여 Target Distribution을 근사한다. 주로 Exponential Family에 속하는 분포들을...

깁스 샘플러(Gibbs Sampler)는 대표적인 MCMC기법 중 하나로 \(d\)차원의 parameter인 \(\Theta = (\theta_{1},....,\theta_{d})\)의 sampling을 진행할 수 있도록 하는 방법이다. 우리가 sampling을 실행하기 희망하는 target distribution \(P(\Theta) = P(\theta_{1},...,\theta_{d})\) 로부터 sampling을 진행하기 어려울 때, Gibbs Sampler를 활용할 수 있다. 다음과 같이 모수가 존재한다고 하자. \[\Theta=(\theta_{1},\theta_{2},\theta_{3})\] 모수들의 결합 사후분포(joint posterior distribution)를 아는 것이...

앞서 소개했던 선형 회귀의 LSE 값은 선형 불편(linear unbiased) 추정치들 중에서 분산이 가장 작다. 어떤 모수 \(\theta\)에 대한 추정치 \(\hat{\theta}\)의 평균제곱오차(MSE, mean squared error)는 다음과 같이 표현될 수 있다. \[\begin{align} \text{MSE}(\hat{\theta}) &= \mathbb{E}(\hat{\theta}-\theta)^{2} \nonumber \\ &= \mathbb{E}(\hat{\theta}-\mathbb{E}(\hat{\theta})+\mathbb{E}(\hat{\theta})-\theta)^{2} \nonumber \\ &= \mathbb{E}(\hat{\theta}-\mathbb{E}(\hat{\theta}))^{2} +(\mathbb{E}(\hat{\theta})-\theta)^{2} \nonumber \\ &= \text{Var}(\hat{\theta})+\text{bias}^{2} \nonumber \end{align}\] 즉, MSE는...

회귀분석이란 P차원 벡터(\(\bf{X}\))가 입력(input)될 때, 그에 대응하는 연속형 타깃 변수(target) \(\bf{y}\)를 예측하는 것이다. N개의 관측값 \(X_{N}\)이 있다고 하자. 이에 대응하는 변수 \(y_{N}\)이 훈련 집합으로 존재한다고 하자. 이 때, 선형회귀모델의 목표는 새로운 변수 \(X_{\text{new}}\)의 종속변수인 \(y_{\text{new}}\)를 예측하는 것이며 최종적으로 \(\text{P}(y_{\text{new}}\mid X_{\text{new}})\) 의 분포를 모델링하는 것이다. 우리는 이 예측분포를 통해서 \(X_{\text{new}}\)에 대한...