贝叶斯统计学将未知值视为可以变化的量，并允许我们在获得新信息时更新对它们的认知。它利用贝叶斯定理将我们已知的知识与新数据结合起来，以获得更好的估计。简而言之，这意味着根据我们要发现的证据来改变最初的猜测。这种持续的更新过程帮助我们应对不确定性，并在更多信息涌入时做出更明智的决策。
> 例如，在抛硬币时，通常的统计学认为正面朝上的概率是 50%。但如果你已经知道硬币的某一面可能更重，贝叶斯统计学允许你利用这一知识来调整正面朝上的概率。
在理解贝叶斯定理之前，让我们先了解一下条件概率。
条件概率
条件概率是指在另一个事件已经发生的情况下，某个事件发生的概率。它用 P(A∣B) 表示，读作“在事件 B 发生的条件下事件 A 发生的概率”。
P(\theta \mid X) = \frac{P(\theta, X)}{P(X)}
这里：
- P(\theta \mid X)：在观察到数据 X 的情况下参数 \theta 的概率
- P(\theta, X)：\theta 和 X 的联合概率
- P(X)：观测数据 X 的概率（边缘概率）
贝叶斯定理
贝叶斯定理是一个数学公式，描述了如何根据新证据来更新假设的概率。简单来说，它允许我们通过结合先验概率（先验信念）和观察到证据的可能性来计算后验概率（更新后的信念）。
从数学上讲，贝叶斯定理表示为：
P(\theta \mid X) = \frac{P(X \mid \theta) \cdot P(\theta)}{P(X)}
其中：
- P(\theta|X) 是后验概率，即在观测数据后更新后的信念。
- P(X|\theta)是似然度，即在假设成立的情况下观测到数据的概率。
- P(\theta) 是先验概率，即我们在观测数据之前对假设的初始信念。
- P(X)是边缘似然度，这是一个归一化常数，确保后验概率的总和为 1。
贝叶斯统计学的组成部分
贝叶斯统计学使用三个关键部分：似然函数、先验信念和后验信念。这些有助于处理是/否的结果，并让我们在获得新信息时更新信念。让我们逐一理解它们：
1. 似然函数
伯努利似然函数用于二元结果，例如成功或失败。就像我们在研究客户点击广告（成功）或不点击（失败）的概率一样，这个函数帮助我们确定在给定成功概率的情况下，观察到特定数据的可能性有多大。
伯努利似然函数的数学表示为：
> P(X|\theta) = \theta^x \cdot (1 – \theta)^{1 – x}
其中：
- X 代表观测到的数据（0 代表失败，1 代表成功）。
- \theta 是成功的概率（例如点击率）。
- x 是观测到的结果（0 代表失败，1 代表成功）。
2. 先验分布
在我们观测任何数据之前，我们对正在估计的参数有一些先验信念。例如，我们可能有一个初始信念，即客户点击广告的概率大约在 0.3 左右。先验信念分布反映了这一知识。一个常用的概率参数是Beta 分布，它被用作 \theta 等参数的先验分布。
先验信念分布的数学表达式为：
> P(\theta) = \frac{\theta^{\alpha – 1} \cdot (1 – \theta)^{\beta – 1}}{B(\alpha, \beta)}
其中：
- \theta 代表成功的概率。
- \alpha 和 \beta 是控制 Beta 分布形状的参数。
- B(\alpha, \beta) 是 Beta 函数，它确保分布积分为 1。
3. 后验分布
一旦获得新数据，我们就会使用贝叶斯定理来更新我们的信念。更新后的信念由后验信念分布表示，它结合了先验信念和新证据。
> P(\theta
\theta) \times P(\theta)
后验分布显示了我们在观测数据后成功或失败的更新概率。随着我们收到新数据，我们对参数的信念也会相应改变。
这张图解释了贝叶斯统计学如何通过结合先验信念与新数据来更新我们对相对风险的理解。
- 绿色曲线代表数据，它根据观测结果显示了风险的可能值。
- 红色曲线是先验，显示了我们在看到数据之前对风险的信念