In Statistics We Trust

기존의 회귀분석 모델 \(\mathbf{y} = \mathbf{X}\beta + \epsilon\) 모형은 보통 1. \(\mathbf{X}\)와 \(\mathbf{y}\) 사이의 선형 관계가 있고 2. \(\mathbf{y}\)가 정규분포를 따른다고 볼 수 있을 때, 활용하는 것이 적절하다. 그러나 현실 세계에서는 이러한 조건에 부합하지 않는 데이터가 많다. \(\mathbf{X}\)와 \(\mathbf{y}\)가 선형관계가 아닌 S자 형태의 관계를 보일 수도 있고 \(\mathbf{y}\)가 정규분포가 아닌...

모수 \(\Theta=(\theta_{1},...,\theta_{p})\) 의 Posterior distribution인 \(\pi(\theta\mid x)\)로 부터 \(\Theta\)에 대한 Sampling을 진행하고자 한다. Gibbs Sampler의 경우, 각 parameter \(\theta_{k}\)의 full conditional posterior를 활용하며, 이 경우에는 \(p(\theta_{k}\mid\theta_{-k})\) 가 우리가 아는 closed form 형태의 분포 형태를 가져야 한다. 만약 \(\theta_{k}\)에 대해 full conditional posterior가 closed form으로 나오지 않는다면, 다음과 같이 Metropolis-Hastings Algorithm을...

변분 추론(이하 Variational Inference)는 속도가 느린 MCMC 방법을 대체할 수 있는 방법으로 MCMC보다는 정확성이 떨어지지만, 속도 측면에서는 MCMC보다 우수한 성질을 가지고 있다. Variational Inference는 우리가 추정하고자하는 복잡한 형태의 Target Distribution을 근사하는 분포를 찾는 과정에서 우리가 이미 알고 있는 간단한 형태의 분포를 활용하여 Target Distribution을 근사한다. 주로 Exponential Family에 속하는 분포들을...

깁스 샘플러(Gibbs Sampler)는 대표적인 MCMC기법 중 하나로 \(d\)차원의 parameter인 \(\Theta = (\theta_{1},....,\theta_{d})\)의 sampling을 진행할 수 있도록 하는 방법이다. 우리가 sampling을 실행하기 희망하는 target distribution \(P(\Theta) = P(\theta_{1},...,\theta_{d})\) 로부터 sampling을 진행하기 어려울 때, Gibbs Sampler를 활용할 수 있다. 다음과 같이 모수가 존재한다고 하자. \[\Theta=(\theta_{1},\theta_{2},\theta_{3})\] 모수들의 결합 사후분포(joint posterior distribution)를 아는 것이...

앞서 소개했던 선형 회귀의 LSE 값은 선형 불편(linear unbiased) 추정치들 중에서 분산이 가장 작다. 어떤 모수 \(\theta\)에 대한 추정치 \(\hat{\theta}\)의 평균제곱오차(MSE, mean squared error)는 다음과 같이 표현될 수 있다. \[\begin{align} \text{MSE}(\hat{\theta}) &= \mathbb{E}(\hat{\theta}-\theta)^{2} \nonumber \\ &= \mathbb{E}(\hat{\theta}-\mathbb{E}(\hat{\theta})+\mathbb{E}(\hat{\theta})-\theta)^{2} \nonumber \\ &= \mathbb{E}(\hat{\theta}-\mathbb{E}(\hat{\theta}))^{2} +(\mathbb{E}(\hat{\theta})-\theta)^{2} \nonumber \\ &= \text{Var}(\hat{\theta})+\text{bias}^{2} \nonumber \end{align}\] 즉, MSE는...