逻辑回归（Logistic regression）是一种用于对二元结果与预测变量之间的关系进行建模的统计方法。本文将为您概述逻辑回归，包括其基本假设以及我们应如何解读回归系数。
逻辑回归的假设
- 二元结果（Binary Outcome）： 逻辑回归假设结果变量是二元的，这意味着它只有两个可能的结果，例如是/否或成功/失败。
- 观测值独立性（Independence of Observations）： 观测值之间是相互独立的。这意味着一个观测的结果不会影响另一个观测的结果。
- 对数优势的线性（Linearity of Log Odds）： 预测变量与结果的对数优势之间的关系是线性的。虽然预测变量与结果本身之间的关系不需要是线性的，但预测变量与结果的对数优势之间应该是线性关系。
- 不存在多重共线性（Absence of Multicollinearity）： 逻辑回归假设预测变量之间不存在多重共线性。多重共线性发生在预测变量彼此高度相关时，这可能导致系数估计不稳定。
- 大样本量（Large Sample Size）： 逻辑回归在大样本量下表现最佳。虽然对于最小样本量没有严格的规定，但拥有足够大的样本量可以确保稳定的参数估计和可靠的推断。
为什么解读回归系数很困难？
由于以下几个因素，解读逻辑回归中的回归系数可能会变得复杂：
- 非线性（Non-linearity）： 虽然逻辑回归假设预测变量与结果的对数优势之间存在线性关系，但这并不意味着原始的预测变量-结果关系也是线性的。因此，像在线性回归中那样直接解读系数可能会产生误导。
- 对数优势尺度（Log-odds scale）： 逻辑回归系数表示预测变量每变化一个单位时，结果的对数优势的变化量。将这些变化转换回通常更容易解释的概率，需要额外的步骤，例如取指数。
- 交互效应（Interaction effects）： 逻辑回归允许预测变量之间存在交互效应，这使得解读更加微妙。交互作用可以根据另一个预测变量的值来修改一个预测变量对结果的影响，从而使直观的解读变得复杂。
- 分类预测变量（Categorical predictors）： 当预测变量是分类变量时，逻辑回归会分配代表每个类别与参照类别之间对数优势差异的系数。这需要仔细解读，特别是当有多个类别时。
- 共线性（Collinearity）： 预测变量之间的高度共线性会夸大标准误差，并使系数解读不可靠。解决共线性问题（例如通过变量选择或正则化技术）对于准确解读至关重要。
逻辑回归模型
逻辑回归模型允许我们：
- 根据预测变量的值估计结果发生的概率。
- 评估预测变量与结果之间关系的显著性和方向。
- 基于预测变量的新观测值，对结果的概率进行预测。
#### 对Logit变换概率进行建模：
- 在逻辑回归中，logit变换后的概率被建模为预测变量的线性组合。
- Logit变换将结果的概率转换为与预测变量的线性关系，从而便于建模。
The model equation is: logit(P(Y=1)) = β_₀ + β_₁X_₁ + β_₂X_₂ + ... + β_kX_k
其中，P(Y=1) 是结果为1（成功）的概率，而 X₁, X₂, …, Xₖ 是预测变量。
最大似然估计：
- 最大似然估计（MLE）用于估计逻辑回归模型的系数（β）。
- MLE 旨在找到使观测到实际结果的可能性最大化的系数值（给定预测变量）。
- 似然函数表示在给定参数值的情况下观测到实际结果的概率。
- 系数会不断迭代调整，直到观测到实际结果的可能性达到最大化，这一过程通常使用牛顿-拉夫森或梯度下降等优化算法。
概率的计算公式：
- 一旦估计出系数，就可以使用逻辑函数计算结果的概率。
- 逻辑