# 마르코프 확률 과정의 이해를 위한 사전 지식 (Prerequisites for Understanding Markov Stochastic Processes)

#### 확률론의 기본 개념 (Fundamentals of Probability Theory)

마르코프 확률 과정을 이해하기 위해서는 먼저 확률론의 기본 개념을 명확히 이해해야 한다. 확률론은 불확실한 사건에 대한 수학적 분석을 제공하며, 마르코프 과정은 그중에서도 특정 확률적 상태 전이 메커니즘을 설명하는데 중점을 둔다. 여기서는 확률론의 핵심 개념 몇 가지를 살펴본다.

* **확률 공간(Probability Space)**: 확률론의 출발점은 확률 공간(Probability Space)이다. 확률 공간은 세 가지 요소로 구성된다: 표본 공간(Sample Space) $ \Omega $, 사건의 집합(Event Set) $ \mathcal{F} $, 그리고 확률 측도(Probability Measure) $ P $.
  * **표본 공간 $ \Omega $**: 모든 가능한 결과의 집합이다.
  * **사건의 집합 $ \mathcal{F} $**: 표본 공간의 부분 집합으로 구성된 사건의 집합이다.
  * **확률 측도 $ P $**: 사건이 발생할 확률을 나타내는 함수로, $ P: \mathcal{F} \rightarrow \[0, 1] $로 정의된다.
* **확률 변수(Random Variable)**: 확률 변수는 표본 공간에서 정의된 함수로, 표본 공간의 각 요소에 실수 값을 대응시킨다. 일반적으로 확률 변수 $ X $는 표본 공간 $ \Omega $에서 실수 집합 $ \mathbb{R} $로의 함수 $ X: \Omega \rightarrow \mathbb{R} $로 정의된다. 확률 변수의 분포(Distribution)는 $ P(X \leq x) $와 같이 주어진 확률을 통해 기술된다.
* **기댓값(Expected Value)**: 기댓값은 확률 변수의 평균값을 나타내며, 확률 변수의 장기적인 평균적인 거동을 설명한다. 이산형(discrete) 확률 변수 $ X $의 경우, 기댓값은 다음과 같이 정의된다.

$$
E\[X] = \sum\_{i} x\_i P(X = x\_i)
$$

연속형(continuous) 확률 변수의 경우, 기댓값은 확률 밀도 함수 $ f(x) $를 이용하여 다음과 같이 정의된다.

$$
E\[X] = \int\_{-\infty}^{\infty} x f(x) dx
$$

#### 조건부 확률 및 독립성 (Conditional Probability and Independence)

마르코프 확률 과정의 중요한 개념 중 하나는 조건부 확률(Conditional Probability)이다. 조건부 확률은 하나의 사건이 이미 발생했을 때, 다른 사건이 발생할 확률을 나타낸다.

* **조건부 확률 $ P(A \mid B) $**: 사건 $ B $가 발생했을 때, 사건 $ A $가 발생할 확률은 다음과 같이 정의된다.

$$
P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \quad P(B) > 0
$$

조건부 확률은 특히 마르코프 성질(Markov Property)에서 핵심적인 역할을 한다. 마르코프 성질은 현재 상태가 주어졌을 때, 미래 상태가 과거 상태와 독립적임을 의미한다. 이는 다음 수식으로 표현된다.

$$
P(X\_{t+1} = x\_{t+1} \mid X\_t = x\_t, X\_{t-1} = x\_{t-1}, \dots, X\_0 = x\_0) = P(X\_{t+1} = x\_{t+1} \mid X\_t = x\_t)
$$

* **독립성(Independence)**: 두 사건 $ A $와 $ B $가 독립적이라고 할 때, 이는 다음과 같이 정의된다.

$$
P(A \cap B) = P(A)P(B)
$$

독립성은 마르코프 과정에서 상태 전이가 과거와 독립적으로 발생하는 성질과도 연결된다. 특히, 연속 시간 마르코프 과정(Continuous-Time Markov Process)에서는 이러한 독립성이 전이율(Transition Rate)의 특정 특성으로 표현된다.

#### 행렬 이론 (Matrix Theory)

마르코프 확률 과정에서는 행렬 이론(Matrix Theory)이 중요한 역할을 한다. 특히, 마르코프 체인(Markov Chain)에서 상태 전이 행렬(Transition Matrix)을 사용하여 상태 전이 확률을 표현한다.

* **행렬(Transition Matrix)**: 마르코프 체인의 상태 전이 확률을 나타내는 행렬로, 각 원소 $ P\_{ij} $는 상태 $ i $에서 상태 $ j $로 전이할 확률을 의미한다. 이 행렬은 다음과 같은 특성을 가진다.
  * 모든 행의 원소 합은 1이다: $ \sum\_j P\_{ij} = 1 $ (확률의 정의에 의해).
  * 전이 행렬의 거듭제곱 $ P^n $은 n 단계 후의 상태 전이 확률을 나타낸다.
* **고유값(Eigenvalue) 및 고유벡터(Eigenvector)**: 상태 전이 행렬의 고유값과 고유벡터는 마르코프 체인의 장기 거동을 분석하는 데 중요하다. 특히, 행렬의 주요 고유값(1에 대응하는 고유값)은 불변 분포(Invariant Distribution)를 결정한다.

$$
P\pi = \pi
$$

여기서 $ \pi $는 불변 분포를 나타내는 고유벡터이며, 이 벡터는 전이 행렬이 반복 적용되었을 때 수렴하는 분포를 나타낸다.

#### 측도 이론 (Measure Theory)

마르코프 확률 과정, 특히 연속 상태 공간을 다룰 때는 측도 이론(Measure Theory)이 필요하다. 측도 이론은 확률론에서 확률 공간의 구조와 확률 변수를 더 엄밀하게 정의하는 도구를 제공한다.

* **측도(Measure)**: 측도는 집합에 대해 크기 또는 확률을 할당하는 함수로, 특히 연속적인 확률 공간에서의 확률 측도는 사건의 크기(즉, 확률)를 정의한다. 일반적으로, 확률 측도는 표본 공간에서의 모든 가능한 사건에 대한 확률을 할당하는 함수 $ \mu $로 표현된다.
* **시그마 대수($ \sigma $-algebra)**: 확률론에서 사건의 집합은 시그마 대수로 구조화되며, 이는 특정 조건을 만족하는 부분 집합의 집합이다. 예를 들어, 사건의 집합이 시그마 대수라면, 그 보완 집합과 두 사건의 교집합도 시그마 대수에 속해야 한다.
* **확률 밀도 함수(Probability Density Function, PDF)**: 연속 상태 공간에서의 확률 변수는 확률 밀도 함수로 정의되며, 이 함수는 특정 상태에서 확률 변수가 가지는 값을 나타낸다. PDF는 다음과 같은 성질을 가진다.

$$
P(a \leq X \leq b) = \int\_{a}^{b} f(x) dx
$$

여기서 $ f(x) $는 확률 밀도 함수이고, $ P(a \leq X \leq b) $는 확률 변수가 구간 $ \[a, b] $ 내에 있을 확률을 나타낸다.

***

관련 자료:

* Billingsley, P. (1995). *Probability and Measure* (3rd ed.). Wiley.
* Grimmett, G., & Stirzaker, D. (2001). *Probability and Random Processes* (3rd ed.). Oxford University Press.
* Kemeny, J. G., & Snell, J. L. (1976). *Finite Markov Chains*. Springer.
* Meyer, C. D. (2000). *Matrix Analysis and Applied Linear Algebra*. SIAM.