# 베이즈 추론 (Bayesian Inference)

#### 베이즈 정리 (Bayes' Theorem)

베이즈 추론의 근간은 베이즈 정리(Bayes' Theorem)이다. 베이즈 정리는 사건 $ A $가 주어진 조건 하에서 사건 $ B $가 발생할 확률을 계산하는 데 사용된다. 수학적으로 베이즈 정리는 다음과 같이 표현된다:

$$
P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}
$$

여기서:

* $ P(A|B) $는 B가 주어졌을 때 A의 사후확률(Posterior Probability)이다.
* $ P(B|A) $는 A가 주어졌을 때 B가 발생할 조건부확률(Likelihood)이다.
* $ P(A) $는 A의 사전확률(Prior Probability)이다.
* $ P(B) $는 B가 발생할 확률, 즉 Evidence 혹은 Marginal Likelihood라고 한다.

베이즈 정리는 새로운 증거나 데이터가 주어졌을 때 가설에 대한 확률을 갱신하는 데 중점을 둔다. 이 정리는 확률적 추론에서 필수적인 역할을 하며, 추론 과정에서 불확실성을 관리하는 강력한 도구이다.

#### 사전확률과 사후확률 (Prior and Posterior Probability)

베이즈 추론의 핵심 개념은 사전확률(Prior Probability)과 사후확률(Posterior Probability)이다. 사전확률은 데이터 관측 이전에 특정 가설이 참일 가능성을 나타내며, 사후확률은 관측된 데이터를 바탕으로 갱신된 가설의 가능성을 나타낸다.

사전확률은 이전의 지식이나 믿음에 의해 결정되며, 이는 주관적일 수 있다. 반면, 사후확률은 베이즈 정리에 의해 계산되며, 관측된 데이터의 정보가 반영된다. 이러한 갱신 과정은 반복적으로 수행될 수 있으며, 매번 새로운 데이터를 반영하여 더 정확한 추론을 가능하게 한다.

#### 우도 함수 (Likelihood Function)

우도 함수는 주어진 가설 하에서 데이터를 관찰할 확률을 나타낸다. 이는 베이즈 추론에서 매우 중요한 역할을 한다. 우도 함수 $ P(B|A) $는 데이터 $ B $가 주어졌을 때 가설 $ A $가 참일 가능성을 나타낸다.

우도 함수는 일반적으로 가설의 파라미터에 대한 함수로 표현되며, 관측된 데이터에 대한 정보를 반영한다. 베이즈 추론에서는 우도 함수를 이용하여 사후확률을 계산하는데, 이 과정에서 사전확률과 결합하여 추론을 진행한다.

#### 사전분포와 사후분포 (Prior and Posterior Distribution)

베이즈 추론에서는 확률 변수가 연속적일 때, 사전확률과 사후확률을 분포로 다룬다. 이를 각각 사전분포(Prior Distribution)와 사후분포(Posterior Distribution)라고 한다.

사전분포는 가설의 파라미터에 대한 불확실성을 나타내며, 데이터 관측 이전의 믿음을 반영한다. 사후분포는 관측된 데이터를 바탕으로 갱신된 파라미터의 불확실성을 나타낸다. 사후분포는 다음과 같이 계산된다:

$$
p(\theta|X) = \frac{p(X|\theta) \cdot p(\theta)}{p(X)}
$$

여기서 $ p(\theta|X) $는 파라미터 $ \theta $의 사후분포, $ p(X|\theta) $는 우도, $ p(\theta) $는 사전분포, $ p(X) $는 증거(evidence)이다.

#### 마르코프 체인 몬테카를로 (MCMC) 방법

베이즈 추론에서 사후분포를 계산하는 것은 일반적으로 매우 어려운 작업이다. 특히, 다차원 파라미터 공간에서 정확한 사후분포를 계산하는 것은 불가능할 수 있다. 이 문제를 해결하기 위해 마르코프 체인 몬테카를로 (MCMC) 방법이 자주 사용된다.

MCMC는 복잡한 분포에서 표본을 추출하여 그 분포를 근사하는 방법이다. 이 방법은 사후분포에서 무작위 샘플을 생성하여 추론을 수행한다. 가장 일반적인 MCMC 알고리즘으로는 Metropolis-Hastings 알고리즘과 Gibbs 샘플링이 있다.

이 방법들은 고차원 공간에서의 추론을 가능하게 하며, 실질적으로 많은 베이즈 추론 문제에 적용되고 있다. MCMC 방법을 통해 얻은 샘플은 사후분포에 대한 통계적 추론을 가능하게 한다.

#### 베이즈 모델 선택 (Bayesian Model Selection)

베이즈 추론에서는 주어진 데이터에 대해 여러 가설 또는 모델을 비교하는 과정이 필수적이다. 베이즈 모델 선택은 이러한 모델들 간의 비교를 가능하게 하며, 모델의 우도와 사전확률을 결합하여 모델의 사후확률을 계산한다.

모델 $ M\_i $의 사후확률은 다음과 같이 계산된다:

$$
P(M\_i|D) = \frac{P(D|M\_i) \cdot P(M\_i)}{\sum\_j P(D|M\_j) \cdot P(M\_j)}
$$

여기서 $ P(D|M\_i) $는 모델 $ M\_i $의 우도, $ P(M\_i) $는 모델의 사전확률, $ P(M\_i|D) $는 모델의 사후확률이다. 이 과정을 통해 데이터에 가장 적합한 모델을 선택할 수 있다.

***

관련 자료:

* Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis. CRC press.
* Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
* Robert, C. P., & Casella, G. (2004). Monte Carlo Statistical Methods. Springer.
* Hoff, P. D. (2009). A First Course in Bayesian Statistical Methods. Springer.