在数据科学和统计分析的实战中，你是否遇到过这样的困惑：手头的数据并不完整，或者某些关键信息“半遮半掩”？特别是在生存分析、可靠性工程以及金融风控等领域，不完整数据不仅仅是需要清洗的“脏数据”，它们往往蕴含着独特的信息价值。如果我们不能正确理解并处理这些数据，模型很可能会产生严重的偏差，甚至得出完全错误的结论。
今天，我们将深入探讨导致数据不完整的两个核心机制：删失和截断。我们会发现，虽然两者都表现为数据缺失，但它们在本质、处理方式以及对模型的影响上有着天壤之别。让我们通过实际案例和 Python 代码，一起掌握这些必备的统计知识。
什么是删失？
当我们知道某个事件确实存在，或者已经发生，但由于种种原因，我们无法获知其确切的数值或具体时间，只知道它落在某个范围之外时，这就发生了删失。你可以把它理解为“数据被隐藏了”。
想象一下，你正在跟踪一组患者的康复情况。如果研究结束时，某位患者依然健在，我们显然无法记录他的“死亡时间”。但我们知道一个事实：他的生存时间至少等于从入组到研究结束的这段时间。这就是最经典的删失场景。
删失的四大类型
为了更好地应对现实情况，我们将删失分为以下几类：
- 右删失：这是最常见的类型。我们知道事件（如死亡、机器故障）在特定时间点之前尚未发生。我们只知道真实值大于某个阈值。
场景*：临床试验结束，或者患者中途搬走了。
- 左删失：这种情况相对较少，但很棘手。我们知道事件在观察开始之前就已经发生了，但不知道具体是何时发生的。我们只知道真实值小于某个阈值。
场景*：在流行病学调查中，你想知道受试者何时感染病毒，但只能通过检测发现抗体阳性，却无法回溯确切的感染日期。
- 区间删失：事件发生在已知的时间区间内，但确切时刻未知。
场景*：机器在周一检查时是好的，周五检查时发现坏了。你只知道故障发生在这一周内，但不确切是哪一天。
- 随机（非信息性）与信息性删失：
* 非信息性删失：这是大多数标准模型（如 Cox 模型）的假设前提。它假设删失发生的机制与事件发生的概率无关。例如，研究结束时没死，这只是因为时间到了，跟你的身体状况无关。
* 信息性删失：这会导致偏差。例如，因为病情恶化退出研究而导致的失访。如果处理不好，会直接误导分析结果。
什么是截断？
相比之下，截断 要更加“冷酷”一些。在截断的情况下，数据根本没有被收集到，样本中根本不存在那些超出范围的数据点。这不仅仅是数值被隐藏，而是样本本身被筛选掉了。这通常会导致严重的选择性偏差。
截断的常见类型
- 左截断：只有当感兴趣的事件发生（或达到一定标准）之后，个体才会被纳入观察。如果在事件发生前就失败了，我们根本看不到它们。
场景*：你想研究“大学毕业后的起薪”，但你只调查了在校友聚会上遇到的人。那些没毕业或者混得差没来聚会的人（数据被截断了）你就看不到了。你的数据样本天然地排除了低值。
- 右截断：只有低于某个阈值的数据才会被记录。通常出现在数据录入限高或保险理赔上限的场景。
场景*：保险公司规定，低于 500 元的小额损失不记录在案，只赔大额。那么你的数据集里就没有小额索赔的记录。
- 双重（区间）截断：只有落在特定区间内的数据才会被记录。
场景*：你在做一个针对特定年龄段（比如 20-30 岁）的体检调查，那么低于 20 和高于 30 的人根本不在你的样本库里。
核心区别可视化与理解
让我们在脑海中构建一张图来对比这两者。假设有一条时间轴：
- 对于删失（右删失为例）：对象在数据集中。我们记录了他的开始时间，但在研究结束时他依然活着。我们在图上会画一条线段，终点处是一个特殊的标记（通常不是代表死亡的 X，而是一个圆点或竖线），代表我们追踪到了这里，然后“视线中断”了。数据还在，只是不完整。
- 对于截断（左截断为例）：对象根本不在起点处。在时间轴的前半段（进入研究前），他是不可见的“幽灵”。只有当他挺过了某个阶段，满足条件进入研究后，我们才开始画线。在那之前的所有数据（包括失败的数据）都完全不存在于我们的文件中。
这种区别在数学建模时至关重要：
- 删失：保留样本，但在计算似然函数时，贡献的是“存活超过某时间”的概率。
- 截断：似然函数必须被调整，因为我们要基于“样本已经进入了研究”这一事实进行条件化。
Python 实战：处理删失与截断
理论讲了这么多，让我们动手写点代码。在 Python 中，lifelines 库是处理生存数据的利器。我们将使用它来模拟数据并进行拟合，看看如果我们错误地处理截断会发生什么。
环境准备
首先，你需要安装 INLINECODEce3310b5 和 INLINECODEea940e79、numpy。
# 在你的终端运行
# pip install lifelines pandas numpy matplotlib
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from lifelines import KaplanMeierFitter, CoxPHFitter
from lifelines.utils import survival_table_from_events
# 设置随机种子以保证结果可复述
np.random.seed(42)
场景一：模拟与分析右删失数据
在这个例子中，我们将生成一组生存数据，并人为地引入右删失（比如研究在 10 个月时结束了）。我们将使用 Kaplan-Meier 估计量来计算生存函数。
def generate_censored_data(n=100):
"""
生成带有右删失的模拟数据
"""
# 假设真实的生存时间服从威布尔分布
true_durations = np.random.weibull(a=1.5, size=n) * 100 # 真实时间
# 模拟研究在 50 个时间单位时结束
study_end_time = 50
# 观察时间：取真实时间和研究结束时间的较小值
# 这就是右删失的核心逻辑：如果活得比研究长，就只能记录到研究结束
observed_durations = np.minimum(true_durations, study_end_time)
# 删失指示器：如果真实时间大于研究结束时间，说明被删失了（1=删失，0=事件发生）
# 注意：lifelines 中通常使用 event_observed (1=发生事件, 0=删失)，这里我们遵循惯例
# 为了 lifelines 方便，我们定义 event_occurred (1=死亡, 0=存活/删失)
event_occurred = (true_durations <= study_end_time).astype(int)
df = pd.DataFrame({
'duration': observed_durations,
'event': event_occurred
})
return df
# 生成数据
df_censored = generate_censored_data(n=200)
print("数据预览：")
print(df_censored.head())
print(f"
删失样本数: {(df_censored['event'] == 0).sum()}")
# 使用 KaplanMeier 拟合
kmf = KaplanMeierFitter()
kmf.fit(durations=df_censored['duration'], event_observed=df_censored['event'], label='Kaplan-Meier 估计')
# 绘图
plt.figure(figsize=(10, 6))
kmf.plot_survival_function()
plt.title('生存函数曲线 (处理右删失数据)')
plt.xlabel('时间')
plt.ylabel('生存概率')
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()
代码解读：
- 在 INLINECODE07f8533a 函数中，我们通过 INLINECODEca4dc486 实现了关键的逻辑：数据不能超过研究的截止时间。
-
event_occurred标记告诉模型哪些是确切的死亡时间，哪些只是“我知道他活到了这个时间点”。 - Kaplan-Meier 估计量非常聪明，它利用了所有未删失的数据来计算风险率，同时正确地处理了删失数据的信息权重。
场景二：左截断的陷阱与修正
现在，让我们看看左截断。如果我们忽略了左截断，会犯什么错误？
假设我们研究“某种癌症确诊后的生存时间”。但是，我们的数据只包含了那些存活了足够长时间以至于能够进入我们医院接受治疗的患者。那些发病极快、入院前就去世的患者被“左截断”掉了（根本不在样本里）。
如果我们直接用普通模型拟合，我们会高估生存率，因为我们的样本天然地排除了早期死亡者。
def generate_truncated_data(n=500):
"""
模拟左截断数据
场景：只有寿命 > 20 的人才能进入研究
"""
# 生成所有潜在人群的寿命
true_lifespans = np.random.weibull(a=1.5, size=n) * 50
# 截断阈值：只有活得过 20 的人才会被观察到
threshold = 20
# 筛选数据：这里就是“截断”发生的地方
# 在真实场景中，你根本看不到那些 threshold
observed_lifespans = true_lifespans[mask]
# 创建 DataFrame
# entry_time: 进入研究的年龄（即截断点）
# exit_time: 事件发生或研究结束的时间
df = pd.DataFrame({
‘entry‘: threshold,
‘exit‘: observed_lifespans, # 事件确实发生了（为了演示简单，假设所有人都观察到事件）
‘event‘: np.ones(len(observed_lifespans)) # 所有人最终都发生了事件
})
# 我们也返回一下那些被丢弃的数据，用于对比（但实际中你是拿不到的）
discarded = true_lifespans[~mask]
return df, discarded
df_trunc, discarded_data = generate_truncated_data()
print(f"被截断丢弃的样本数 (实际中看不见): {len(discarded_data)}")
print(f"进入研究的样本数: {len(df_trunc)}")
接下来，我们对比一下错误的做法（忽略截断）和正确的做法（告诉模型有截断存在）。
# --- 错误的做法：忽略截断 ---
kmf_wrong = KaplanMeierFitter()
# 只关注生存时长 (exit - entry)，但不告诉模型 entry 之前的风险
kmf_wrong.fit(durations=df_trunc[‘exit‘] - df_trunc[‘entry‘],
event_observed=df_trunc[‘event‘],
label=‘❌ 错误模型 (忽略截断)‘)
# --- 正确的做法：考虑截断 ---
kmf_correct = KaplanMeierFitter()
# 左截断在 lifelines 中通过 fit 的 entry_time 参数指定
# 这告诉模型：在 entry_time 之前，这个个体也是活着的，且处于风险集中
kmf_correct.fit(durations=df_trunc[‘exit‘],
event_observed=df_trunc[‘event‘],
entry=df_trunc[‘entry‘],
label=‘✅ 正确模型 (考虑左截断)‘)
# 可视化对比
plt.figure(figsize=(12, 6))
kmf_wrong.plot_survival_function()
kmf_correct.plot_survival_function()
plt.title(‘忽略截断 vs. 正确处理截断：生存率的差异‘)
plt.xlabel(‘时间 (从进入研究开始)‘)
plt.ylabel(‘生存概率‘)
plt.grid(True, linestyle=‘--‘, alpha=0.6)
plt.annotate(‘忽略截断会高估生存率‘,
xy=(20, 0.8),
xytext=(25, 0.9),
arrowprops=dict(facecolor=‘black‘, shrink=0.05))
plt.show()
深度解析：
- 错误模型仅仅计算了
exit - entry的时长。它以为所有样本都是从时间 0 开始的。这就导致它把那部分“挺过了 20 年”的幸存者当成了普通人群，完全没有考虑到“那些没挺过 20 年的人根本没机会进来”这个事实。因此，它会画出一条看起来非常健康的生存曲线。 - 正确模型（通过指定
entry参数）会调整风险集。它知道在计算第 25 年的死亡率时，分母不仅仅是那些第 24 年还活着的人，还要考虑到他们必须已经活过了 20 岁。这在数学上通过对似然函数进行条件化修正来实现。
实战中的最佳实践与常见错误
在我们的实际项目中，处理这两类数据时，有几个经验法则值得你牢记：
- 永远不要把删失数据直接当作“事件发生”来处理，也不要直接删掉。
错误做法*：看到数据里有缺失，直接整行删除。这会浪费信息，并且导致偏差。
错误做法*：把没发生事件的直接填上研究结束的最大值。这会低估风险。
正确做法*：保留它们，并在模型中使用专门的参数（如 event_observed=0）来标记。
- 警惕截断带来的幸存者偏差。
* 当你分析的数据是一个“子集”时（例如，仅限VIP客户，仅限住院病人），先问自己：那些不在这个子集里的人去哪了？
* 如果是因为他们不满足某个前置条件（比如寿命不够长，资金不够多），那你很可能面临截断问题。必须使用支持截断的模型（如 INLINECODEe3553be9 中设置 INLINECODE74252fa2）。
- 数据录入时的清晰标记。
* 在构建数据集时，最好显式地包含三列：INLINECODEb179ee29（开始观察时间），INLINECODE3c6cc488（结束观察时间），event（事件是否发生）。这种格式（Start-Stop Format）能够同时完美处理左截断、右删失和区间删失，是生存分析的标准数据格式。
总结
删失和截断是统计建模中处理不完整数据的两把钥匙。
- 删失告诉我们：我知道你在那里，但我只看到了你的一部分。我们用 Kaplan-Meier 等工具保留这部分信息。
- 截断警告我们：你没看到的样本可能才是决定性因素。我们必须修正似然函数，以免被幸存者偏差蒙蔽。
希望通过今天的讲解和代码实战，你能更加自信地面对手中的不完整数据。下次当你看到数据中有大量“缺失”时，别急着扔掉，思考一下它们是在向你讲述一个关于“删失”还是“截断”的故事。掌握这些，你的数据分析能力将更上一层楼。