About: ファノの不等式

情報理論において、ファノの不等式（ファノのふとうしき、英語: Fano's inequality）は、雑音の多い通信路で失われた情報の平均を分類誤りの確率と関連付ける不等式である。1950年代初めにロベルト・ファノによってMITでの情報理論のPh.Dセミナーで導かれ、その後の彼の1961年の教科書にも記載されている。ファノの逆定理(Fano converse)またはファノの補題(Fano lemma)とも呼ばれる。 これは、任意の復号器の誤り確率の下限と、におけるミニマックスリスクの下限を見つけるために使用される。 確率変数 X と Y を、同時分布 による入力・出力メッセージとする。e を誤りの発生、すなわち、 を出力メッセージ Y から推定した入力メッセージ X としたとき、 となることであるとする。すると、ファノの不等式は以下のように表される。 ここで、 は X のsupportを表し、 は、 は通信誤りの確率、 対応する二値エントロピーである。