マルコフ過程
出典: フリー百科事典『ウィキペディア（Wikipedia）』
マルコフ過程とはマルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。このような過程は例えば、確率的にしか記述できない物理現象の時間発展の様子に見られる。なぜなら、多くの物理現象は過去によらない微分方程式によって記述されるが、この性質は系の粒子数が多くなり確率論的な解析を必要とする状態にも引き継がれるからである。
ロシア人数学者、アンドレイ・マルコフ(Андрей Андреевич Марков)にちなんで命名されている。
目次 |
[編集] マルコフ過程の分類
マルコフ過程は以下のような分類がある。
- 離散時間マルコフ過程
- 時刻のパラメタが離散集合を動くマルコフ過程。通常はT={1, 2, 3, … }を時刻の集合とする。
- 連続時間マルコフ過程
- 上とは逆にT = [0, ∞)等を時刻の集合とするマルコフ過程。
- 離散マルコフ過程
- マルコフ過程の状態空間が離散集合であるマルコフ過程。ここで、状態空間とはマルコフ過程が値を取る空間のことである。マルコフ連鎖ともいう。
- 連続マルコフ過程
- 連続時間マルコフ過程の軌跡が時間に関して連続であるときにいう。
- 時間的に一様なマルコフ過程
- 推移確率が現在時刻によらずに一定であるようなマルコフ過程。
[編集] マルコフ過程の推移確率
通常現れるマルコフ過程の分布は推移確率によって決定できる。マルコフ過程 Xt の推移確率は時刻 s に状態空間の点 x を出発して、時刻 t > s に状態空間の(可測)部分集合 Y に入る確率 P(s, t; x, Y) のことであり、
- <math>P(s, t; x, Y) = P(X_t \in Y | X_s = x)</math>
で定義される。離散時間マルコフ過程の場合は t = s + 1 の場合の推移確率のみで十分であり、他の期間の推移確率は以下のチャップマン-コルモゴロフの等式により計算できる。時間的に一様な場合は、s = 0 の場合だけで十分であり、他の時刻の推移確率は P(s, t; x, Y) = P(0, t - s; x, Y) で計算できる。 さらに離散マルコフ過程の場合は Y のかわりに状態空間の一点 y を用いれば十分であり、その場合は推移確率は行列となる。
[編集] チャップマン-コルモゴロフの等式
チャップマン-コルモゴロフの等式は3つの時刻間の推移確率の間に成り立つ関係を示した等式で、時刻 s < t < u にたいして、
- <math>P(s, u; x, Z) = \int P(t, u; y, Z)P(s, t; x, dy)</math>
で与えられる。すなわち、時刻 s に x を出発し時刻 u に Z に入る確率を、途中の時刻 t でどこにいたかで場合分けして計算したものである。
[編集] 関連項目
