Master equation 설명 (Markov process와 master equation)

 Master equation은 Markov process state의 확률 분포가 시간에 따라서 어떻게 변하는지를 모델링하는 방정식으로, stochastic system의 behavior의 분석과 예측에 도움을 준다. 이번 글에서는 Markov property와 이를 만족하는 Markov process가 무엇인지, 그리고 마지막으로 Master equation이 무엇인지에 대해 알아보겠다.

Markov process

 Markov process는 Markov property를 만족하는 stochastic process를 의미한다. 이 문장 안에 있는 Markov property가 무엇인지, 그리고 stochastic process가 무엇인지에 대해 하나씩 알아보겠다.

Stochastic process

 Stochastic process는 시간 t에 따라 변하는 각 state들을 표현하는 process로, 이 시간에 따라 변하는 결과는 deterministic하지 않고 randomness를 가진다. Stochastic process에 포함되는 모든 random variable들은 특정 시각의 해당 시스템의 state를 표현하고, 이 random variable들은 하나의 값으로 정해지는 것이 아닌 probability distribution을 가진다.

 Stochastic process는 앞서 설명했듯이 시간 t에 따라 변하고, 이 t는 discrete하게 정의되기도 하고 continous하게 정의되기도 한다. Discrete한 stochastic process의 예시로는 일별 주가 등이 있고, continuous한 stochastic process의 예시로는 입자들의 fluid 내에서의 random motion을 표현하는 Brownian motion이 있다. 

Markov property

 Markov property는 어떤 stochastic process의 future state의 확률이 과거의 history와는 상관이 없는 성질을 의미한다. 즉, 다음 state $x$가 과거에 내가 어떤 state를 거쳐왔는지와는 전혀 상관 없이 현재의 state $x_n$과만 관련이 있는 것이다. 이를 식으로 표현하면 다음과 같다.

Markov property

 위 식을 해석하면, 과거의 state들인 $x_1$부터 $x_{n-1}$까지 어떤 state를 거쳐왔든 상관없이 현재의 state $x_n$에만 dependent하게 다음 state $x$가 결정된다는 것이다. 

Master equation

 Master equation은 Markov process의 확률 분포, 즉 probability density가 시간에 따라 어떻게 변하는지를 모델링하는 식이다. 즉,  각 state로 갈 확률이 시간이 흐르면서 어떻게 변하는지를 모델링하여 Markov process의 future behavior를 예측하는 데에 도움을 준다. 이러한 Master equation은 다음과 같다.

Master equation

 위 식에서 $W_t(x|x')$는 t라는 시각에 state $x'$로부터 state $x$로 가는 비율을 의미하고, $p(x', t)$는 t라는 시각에 state $x'$일 확률을 의미한다. 그러므로 앞쪽에 있는 term인 $W_t(x|x')p(x',t)$는 state $x$로 들어가는 모든 transition들의 합, 즉 state $x$ 기준으로 inflow를 의미한다. 이와 비슷하게 뒤쪽에 있는 $W_t(x'|x)p(x,t)$는 state $x$로부터 나오는 모든 transition들의 합, 즉 outflow를 의미한다. 

 결론적으로, Master equation은 inflow와 outflow 사이의 차이를 통해 state $x$에 머무를 probability의 시간에 따른 변화량을 모델링하는 식이 되는 것이다. 이번 글에서는 Master equation이 무엇인지에 대해 알아보았다. 내년에 이어질 다음 글들에서는 SDE, ODE, Wiener process 등 diffusion process를 이해하는 데에 필요한 수학적 개념들에 대해 알아보겠다.

References

https://www.thphys.uni-heidelberg.de/~wolschin/statsem21_6s.pdf