两个事件X和Y的互信息定义为：
I(X;Y)=H(X)H(Y)-H(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)>=0
其中H(X,Y)是联合熵(JointEntropy)，其定义为：
H(X,Y)=-∑p(x,y)logp(x,y)
H(X|Y)是条件熵（conditionalentropy），定义重属于熵的定义；
x,y
互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。