# 마르코프 확률 과정 (Markov Stochastic Process)

#### 개요

마르코프 확률 과정(Markov Stochastic Process)은 상태 전이(State Transition) 모델의 한 유형으로, 시스템이 여러 가지 상태를 가지며, 이 상태들이 시간에 따라 어떻게 변하는지를 확률론적 방식으로 설명하는 수학적 모델이다. 이 과정은 '마르코프 성질(Markov Property)'을 기본 가정으로 한다. 마르코프 성질이란, 시스템의 미래 상태가 현재 상태에만 의존하며 과거 상태에 독립적이라는 것이다. 이를 공식적으로 설명하면, 시스템의 상태가 시간 t에서 $ X\_t $라고 할 때, 마르코프 성질은 다음과 같은 수식으로 표현된다.

$$
P(X\_{t+1} = x\_{t+1} \mid X\_t = x\_t, X\_{t-1} = x\_{t-1}, \dots, X\_0 = x\_0) = P(X\_{t+1} = x\_{t+1} \mid X\_t = x\_t)
$$

이는 현재 상태만이 미래 상태에 영향을 미치며, 과거의 상태는 현재 상태를 통해서만 간접적으로 영향을 미칠 수 있음을 의미한다.

#### 마르코프 체인 (Markov Chain)

마르코프 확률 과정의 대표적인 예가 바로 마르코프 체인(Markov Chain)이다. 마르코프 체인은 이산적(discrete)인 상태 공간에서의 마르코프 확률 과정으로, 각 상태는 이산적 시간 간격에서 특정 확률로 다른 상태로 전이된다. 이때 상태 전이 행렬(Transition Matrix)로 모든 상태 전이 확률을 정의할 수 있다. 이 전이 행렬 $ P $의 각 요소 $ P\_{ij} $는 다음과 같이 정의된다.

$$
P\_{ij} = P(X\_{t+1} = s\_j \mid X\_t = s\_i)
$$

여기서 $ s\_i $와 $ s\_j $는 각각 상태 공간에 속하는 상태를 나타낸다. 마르코프 체인은 상태 전이 행렬을 통해 주어진 시간이 지난 후에 시스템이 어느 상태에 있을 확률을 계산할 수 있다.

마르코프 체인은 주로 다음과 같은 특성에 따라 분류된다.

* **정칙성(Regularity)**: 모든 상태로부터 모든 다른 상태로의 전이가 가능하다면, 마르코프 체인은 정칙(Regular)이라고 한다.
* **불변 분포(Invariant Distribution)**: 어떤 상태에 도달할 확률이 시간이 지남에 따라 일정하게 유지된다면, 이를 불변 분포라고 한다. 불변 분포 $ \pi $는 다음과 같은 식을 만족한다.

$$
\pi P = \pi
$$

#### 연속 시간 마르코프 과정 (Continuous-Time Markov Process)

마르코프 확률 과정의 또 다른 중요한 유형은 연속 시간 마르코프 과정(Continuous-Time Markov Process)이다. 이 과정에서는 시간 변수가 연속적으로 변화하며, 상태 전이는 포아송 과정(Poisson Process)에 따라 발생한다. 포아송 과정은 특정 사건이 일정한 시간 간격으로 발생하는 확률을 모델링하며, 이 과정에서 상태 전이는 고정된 비율로 발생하는 것으로 가정된다.

연속 시간 마르코프 과정에서 상태 전이 확률은 전이율(rate) 매개변수로 나타내어진다. 각 전이율 $ q\_{ij} $는 상태 $ i $에서 $ j $로 전이할 확률을 나타내며, 다음과 같은 미분 방정식으로 표현된다.

$$
\frac{dP\_{ij}(t)}{dt} = \sum\_{k \neq i} q\_{ik}P\_{kj}(t) - q\_{ij}P\_{ij}(t)
$$

이 방정식은 시간에 따른 전이 확률의 변화를 나타내며, 연속 시간 마르코프 과정의 핵심적인 수학적 도구이다.

#### 상태 공간 (State Space)

마르코프 확률 과정에서 상태 공간(State Space)은 시스템이 가질 수 있는 모든 상태의 집합을 의미한다. 상태 공간은 이산적(discrete)일 수도 있고, 연속적(continuous)일 수도 있다. 이산 상태 공간에서는 가능한 상태가 유한하거나 가산무한한 집합을 이루며, 연속 상태 공간에서는 상태가 실수 공간(Real Space) 또는 다차원 공간으로 나타낼 수 있다.

연속 상태 공간에서 마르코프 확률 과정을 다루기 위해서는 확률 밀도 함수(Probability Density Function)를 사용하여 상태 전이 확률을 정의해야 한다. 이 경우, 상태 전이 행렬은 상태 전이 커널(Transition Kernel)로 대체되며, 이 커널은 두 상태 사이의 전이 확률 밀도를 정의한다.

$$
P(X\_{t+1} \in A \mid X\_t = x) = \int\_A K(x, y) dy
$$

여기서 $ A $는 상태 공간의 부분 집합이고, $ K(x, y) $는 상태 $ x $에서 $ y $로의 전이 확률 밀도를 나타내는 전이 커널이다.

#### 에르고딕성 (Ergodicity)

마르코프 확률 과정에서 에르고딕성(Ergodicity)은 장기적인 거동을 설명하는 중요한 개념이다. 에르고딕성은 시스템이 시간이 충분히 경과하면, 초기 상태와 무관하게 모든 상태를 거의 동일하게 방문하게 되는 특성을 의미한다. 즉, 긴 시간 동안 관찰했을 때, 각 상태에서의 점유 확률은 특정한 고정 분포에 수렴한다는 것을 의미한다.

에르고딕성을 분석하기 위해 자주 사용하는 도구는 재생시간(Return Time)과 점유 시간(Occupation Time)이다. 재생시간은 시스템이 처음으로 어떤 상태로 돌아오는 시간의 분포를 말하며, 점유 시간은 특정 상태에 머무는 시간의 비율을 의미한다. 마르코프 체인이 에르고딕성을 가지려면, 재생시간이 유한하고, 점유 시간이 일정한 비율로 수렴해야 한다.