# 마르코프 확률 과정 (Markov Stochastic Process) 소개

#### 마르코프 확률 과정이란?

마르코프 확률 과정(Markov Stochastic Process)은 시스템이 여러 가지 상태를 가지며, 이 상태들이 시간에 따라 어떻게 변화하는지를 설명하는 방법이다. 이 과정에서 중요한 점은, 시스템이 앞으로 어떻게 될지를 예측할 때 현재 상태만을 고려한다는 것이다. 즉, 과거에 어떤 일이 있었는지와는 상관없이, 현재 상태만을 바탕으로 미래를 예측할 수 있다는 것이죠.

#### 마르코프 성질 (Markov Property)

마르코프 성질은 마르코프 확률 과정의 핵심 개념이다. 이 성질은 간단히 말해 "현재 상태가 모든 것을 말해준다"는 것이다. 예를 들어, 날씨를 생각해봅시다. 오늘 날씨가 내일 날씨를 결정하는 데 가장 중요하며, 어제나 그 이전의 날씨는 영향을 미치지 않는다는 가정이다. 이렇게 과거의 정보가 필요 없이, 현재 상태만으로 미래를 예측할 수 있는 성질을 마르코프 성질이라고 한다.

#### 상태와 상태 전이 (State and State Transition)

마르코프 확률 과정에서는 시스템이 가질 수 있는 각각의 상황을 상태(State)라고 부릅니다. 예를 들어, 날씨의 상태는 "맑음", "흐림", "비" 등이 될 수 있다. 상태 전이(State Transition)는 시스템이 한 상태에서 다른 상태로 변화하는 것을 의미한다. 앞서 날씨 예시를 사용하자면, "맑음" 상태에서 "흐림" 상태로 변화하는 것이 상태 전이이다.

이러한 상태 전이가 어떻게 일어나는지를 확률적으로 예측하는 것이 마르코프 확률 과정의 중요한 부분이다. 각 상태 전이가 일어날 확률을 이용해, 시스템이 시간이 지남에 따라 어떻게 변화할지를 설명할 수 있다.

#### 기억이 없는 과정 (Memoryless Process)

마르코프 확률 과정은 흔히 "기억이 없는 과정"이라고도 불린다. 이는 시스템이 미래에 어떤 상태로 변할지를 예측할 때, 과거에 있었던 모든 사건을 무시한다는 의미이다. 오직 현재의 상태만이 중요하다는 것이죠. 이 개념은 이해하기에 다소 생소할 수 있지만, 시스템의 복잡성을 크게 줄여주는 중요한 특징이다.

#### 이산 시간과 연속 시간 (Discrete-Time and Continuous-Time)

마르코프 확률 과정은 시간의 흐름을 어떻게 다루느냐에 따라 두 가지로 나눌 수 있다. 첫 번째는 이산 시간(Discrete-Time) 과정으로, 시간이 특정한 단계별로 나누어져 있는 경우이다. 예를 들어, 하루 단위로 날씨를 기록한다면, 이산 시간 마르코프 과정이 된다.

두 번째는 연속 시간(Continuous-Time) 과정으로, 시간의 흐름이 연속적이며, 언제든지 상태가 변화할 수 있는 경우이다. 예를 들어, 주식 시장에서 가격이 언제든 변할 수 있는 상황이 이에 해당한다.

#### 에르고딕성 (Ergodicity)

마르코프 확률 과정에서 자주 논의되는 개념 중 하나는 에르고딕성(Ergodicity)이다. 에르고딕성은 시간이 충분히 흐르면, 시스템이 모든 상태를 고르게 방문하게 되는 특성을 말한다. 예를 들어, 날씨가 시간이 지나면서 "맑음", "흐림", "비" 상태를 모두 경험하게 되고, 어느 특정한 상태에만 머무르지 않는다면, 이 시스템은 에르고딕성을 가진다고 할 수 있다.

***

관련 자료:

1. Norris, J. R. (1997). *Markov Chains*. Cambridge University Press.
2. Durrett, R. (2019). *Probability: Theory and Examples* (5th ed.). Cambridge University Press.
3. Kemeny, J. G., & Snell, J. L. (1976). *Finite Markov Chains*. Springer.
4. Ross, S. M. (2014). *Introduction to Probability Models* (11th ed.). Academic Press.