About: エントロピーレート

確率の数理理論において確率過程のエントロピーレート（英: entropy rate）または情報源レート（source information rate）とは、平たく言えば、確率過程における情報量の時間平均である。可算個の時間添字を持つ確率過程のエントロピーレート は、 ステップまでの の結合エントロピーを で割った量の、 が無限大に向かうときの極限と定義される（極限が存在するときに限る）： 一方、関連する量に がある。強定常過程に対しては となる。エントロピーレートは確率過程の一般的性質として捉えることができ、これはと呼ばれる。エントロピーレートは確率過程の複雑性の推定にも使うことができる。また、言語の複雑性の特徴付け、ブラインド信号源分離、量化子器の最適化、データ圧縮アルゴリズムといった広範な対象に応用される。例えば、エントロピーレート最大化基準は機械学習における特徴選択に利用することができる。