最大熵对应的概率分布

最大熵定理

设 $X\sim p(x)$ 是一个连续型随机变量，其微分熵定义为

$$h(X)=-\int p(x)\log p(x)dx$$

其中，$\log$ 一般取自然对数 $\ln$, 单位为 奈特（nats）。

考虑如下优化问题：

$$\begin{array}{llc}& \underset{p}{\mathrm{Maximize}}& h(p)=-{\int }_{S}p(x)\log p(x)dx\\ & \text{Subject to}& {\int }_{S}p(x)dx=1\\ & & p(x)\ge 0\\ & & {\int }_{S}p(x)f_i(x)dx={\alpha }_i,i=1,2,3,\dots ,n\end{array}$$

其中，集合 $S$ 是随机变量的support，即其所有可能的取值。我们意图找到这样的概率分布 $p$, 他满足所有的约束（前两条是概率公理的约束，最后一条叫做矩约束，在模型中有时会假设随机变量的矩为常数），并且能够使得熵最大。将上述优化问题写成标准形式：

$$\begin{array}{llc}& \underset{p}{\mathrm{Minimize}}& {\int }_{S}p(x)\log p(x)dx\\ & \text{Subject to}& -p(x)\le 0\\ & & {\int }_{S}p(x)dx=1\\ & & {\int }_{S}p(x)f_i(x)dx={\alpha }_i,i=1,2,3,\dots ,n\end{array}$$

使用Lagrange乘数法得到其Lagrangian

$$L(p,\mathbf{\lambda })={\int }_{S}p\log pdx-{\mu }_{-1}p+{\mu }_0\left({\int }_{S}pdx-1\right)+\sum _{j=1}^n{\lambda }_j\left({\int }_{S}p{f}_{j}dx-{\alpha }_j\right)$$

根据KKT条件对Lagrangian求导令为0，可得最优解。

$$\begin{array}{c}\frac{\partial L}{\partial p}=\ln p+1-{\mu }_{-1}+{\mu }_0+\sum _{j=1}^n{\lambda }_j{f}_j:=0\\ ⟹p=\exp \left(-1+{\mu }_{-1}-{\mu }_0-\sum _{j=1}^n{\lambda }_j{f}_j\right)=c^{\ast }{e}^{-{\sum }_{j=1}^n{\lambda }_j^{\ast }{f}_j(x)}:=p^{\ast }\end{array}$$

其中，我们要选择 $c^{\ast },{\mathbf{\lambda }}^{\ast }$ 使得 $p(x)$ 满足约束。到这里我们知道，在所有满足约束的概率分布当中，$p^{\ast }$ 是使得熵达到最大的那一个！

---

例子

高斯分布 ------⇒ 约束：

• $E(X)=0⟹f_1=x$
• $E(X^2)={\sigma }^2⟹f_2=x^2$

根据上面的论证，最大熵分布应具有如下形式：

$$p(x)=c{e}^{-{\lambda }_{1}x-{\lambda }_2{x}^2}$$

再根据 KKT 条件：

1. ${\int }_{-\infty }^{+\infty }p(x)=1$
2. ${\int }_{-\infty }^{+\infty }xp(x)=0$
3. $\int x^{2}p(x)={\sigma }^2$

由条件 $(2)⟹p(x)$ 是偶函数 $⟹{\lambda }_1=0$, 原条件变成

1. ${\int }_{-\infty }^{+\infty }c{e}^{-{\lambda }_2{x}^2}=1$
2. $\int x^{2}c{e}^{-{\lambda }_2{x}^2}={\sigma }^2$

$⟹c=\frac{1}{\sqrt{2\pi {\sigma }^2}},{\lambda }_2=\frac{1}{2{\sigma }^2}⟹p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{x^2}{2{\sigma }^2}}\sim N(0,{\sigma }^2)$

指数分布 -------⇒ 约束：

• $X\ge 0$
• $E(X)=\frac{1}{\mu }$

根据上面的论证，最大熵分布应具有如下形式：

$$p(x)=c{e}^{-{\lambda }_{1}x}$$

再根据 KKT 条件：

1. ${\int }_0^{+\infty }c{e}^{-{\lambda }_{1}x}=1$
2. ${\int }_0^{+\infty }xc{e}^{-{\lambda }_{1}x}=\frac{1}{\mu }$

推导如下：

$$\begin{array}{c}{\int }_0^{+\infty }{e}^{-{\lambda }_{1}x}=\frac{1}{c}⟹{\lambda }_1=c\\ {\int }_0^{+\infty }x{e}^{-{\lambda }_{1}x}=\frac{1}{c\mu }=\frac{1}{{\lambda }_1\mu }⟹{\lambda }_1=\mu \end{array}$$

$⟹p(x)=\mu e^{-\mu x}\sim Exp(\mu )$

均匀分布 -------⇒ 约束：

• $a\le X\le b$

根据上面的论证，最大熵分布应具有如下形式：

$$\begin{array}{c}p(x)=c{e}^{-0x}=c\\ {\int }_a^{b}cdx=1⟹c=\frac{1}{b-a}\end{array}$$

$⟹p(x)=\frac{1}{b-a}\sim Unif(a,b)$

几何分布 -------⇒ 几何分布计数直到第一次成功前所有的失败次数。$P(X=k)=q^{k}p$ 约束：

• $X=0,1,2,\dots$
• $E(X)=\frac{1-p}{p}$

根据上面的论证，最大熵分布应具有如下形式：

$$P(X=k)=p_k=c{e}^{-{\lambda }_{1}k}$$

再根据 KKT 条件：

1. ${\sum }_{k=0}^{\infty }{p}_k=1$
2. ${\sum }_{k=0}^{\infty }k{p}_k=\frac{1-p}{p}$

推导如下：

$$\begin{array}{c}\sum _{k=0}^{\infty }c{e}^{-{\lambda }_{1}k}=c\sum _{k=0}^{\infty }{q}^k(\text{where }q=e^{-{\lambda }_1})\\ =\frac{c}{1-q}⟹c=1-q\\ \sum _{k=0}^{\infty }kc{e}^{-{\lambda }_{1}k}=c\sum _{k=1}^{\infty }k(e^{-{\lambda }_1}{)}^k=c\sum _{k=1}^{\infty }k{q}^k=cq\sum k{q}^{k-1}\\ =cq\sum (q^k{)}^{\prime }=cq{\left(\sum _{k=1}^{\infty }{q}^k\right)}^{\prime }=cq{\left(\frac{q}{1-q}\right)}^{\prime }\\ =cq\cdot \frac{1}{(1-q{)}^2}=\frac{q}{1-q}=\frac{1-p}{p}\end{array}$$

$⟹e^{-{\lambda }_1}=q=1-p,c=p⟹P(X=k)=p_k=p{q}^k\sim Geom(p)$