About: カルバック・ライブラー情報量

カルバック・ライブラー情報量（カルバック・ライブラーじょうほうりょう、カルバック・ライブラー・ダイバージェンス、英: Kullback–Leibler divergence）とは、確率論と情報理論における2つの確率分布の差異を計る尺度である。情報ダイバージェンス（英: information divergence）、情報利得（英: information gain）、相対エントロピー（英: relative entropy）とも呼ばれる。2つの確率分布の差異を表す事から、カルバック・ライブラー距離 と呼ばれる事もあるが、距離の公理を満たさないので、数学的な意味での距離ではない。 応用上は、「真の」確率分布 P とそれ以外の任意の確率分布 Q に対するカルバック・ライブラー情報量が計算される事が多い。例えばP はデータ、観測値、正確に計算で求められた確率分布などを表し、Q は理論値、モデル値、P の予測値などを表す。 この概念は1951年、とが2つの分布の間の directed divergence として用いたのが最初であり、ベクトル解析におけるダイバージェンスとは異なる概念である。