条件高斯分布在概率论、统计学和机器学习中扮演着至关重要的角色，特别是在部分变量已知的情况下对不确定性进行建模时。它们定义了当多元高斯分布向量中的一个子集已知时，另一个子集的行为特征。由于条件高斯分布具有闭式解且保持线性，因此被广泛应用于贝叶斯推断、卡尔曼滤波以及回归分析。通过利用条件高斯分布，我们可以安全地进行预测并有效地推断缺失信息。
高斯（正态）分布是一种由均值（𝜇）和方差（𝜎2）表征的概率分布。如果随机变量 𝑋 的概率密度函数（PDF）如下所示，则它服从正态分布：
> p(X) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(X – \mu)^2}{2\sigma^2}\right)
对于多元高斯分布，随机向量 𝑥 服从以下分布：
> \mathbf{x} \sim \mathcal{N}(\mathbf{\mu}, \Sigma)
其中：
- 𝜇 是均值向量
- Σ 是协方差矩阵
现在，假设我们将 𝑥 划分为两个子集：
> \mathbf{x} =\begin{bmatrix}\mathbf{x}A \\ \mathbf{x}B\end{bmatrix}\sim \mathcal{N}\left(\begin{bmatrix}\mathbf{\mu}A \\ \mathbf{\mu}B\end{bmatrix},\begin{bmatrix}\Sigma{AA} & \Sigma{BA} \\ \Sigma{AB} & \Sigma{BB}\end{bmatrix}\right)
条件高斯分布描述了在已知 𝑥B 的情况下 \mathbf{x}_A 的概率。
它同样遵循高斯分布：
> \mathbf{x}A
B}, \Sigma{AB})
其中：
- 条件均值： \mathbf{\mu}{A|B} = \mathbf{\mu}A + \Sigma{AB} \Sigma{BB}^{-1} (\mathbf{x}B – \mathbf{\mu}B)
- 条件协方差： \Sigma{A|B} = \Sigma{AA} – \Sigma{AB} \Sigma{BB}^{-1} \Sigma_{BA}
这些公式有助于我们在已知一组变量的情况下，计算另一组变量的行为。
条件高斯分布的性质
1. 线性性质： 条件均值是观测变量的线性函数。这使得高斯分布易于在线性回归和卡尔曼滤波器中使用。
2. 不确定性降低： 由于部分信息（通过 𝑥B）已经已知，条件协方差矩阵 \Sigma{A|B} 总是小于原始的协方差矩阵 \Sigma{AA}。
3. 闭式表达式： 与许多其他分布不同，高斯分布在条件化后仍然保持高斯分布。这使得贝叶斯推断和统计建模中的计算变得直接明了。
4. 子集性质： 如果随机变量服从多元正态分布，那么变量的任何子集也服从正态分布，包括条件分布在内。
条件高斯分布的应用
1. 贝叶斯推断： 在贝叶斯统计学中，我们根据观测数据来更新我们的信念。如果先验和似然都是高斯的，后验分布将保持高斯分布，从而使得推断变得简单。
2. 卡尔曼滤波（状态估计）： 卡尔曼滤波器利用条件高斯分布从有噪声的观测值中估计系统的状态。广泛应用于机器人技术、跟踪系统和导航（例如 GPS）。
3. 高斯过程回归（GPR）： 在高斯过程回归中，条件高斯分布被用来进行预测。观测点和未观测点之间的关系被建模为多元高斯分布。
4. 缺失数据插补： 当数据集中的某些值缺失时，我们可以利用条件分布来估计它们。这通常用于数据的清洗和预处理。
5. 图像处理（去噪与超分辨率）： 用于图像重建，通过条件高斯模型来估计缺失的像素值。在从低分辨率图像生成高分辨率图像的超分辨率技术中，它也能发挥重要作用。
相关文章：
> – [Gaussian Dist