在计算机视觉和机器人技术的浩瀚海洋中，相机无疑是我们的“眼睛”。它捕捉的光学信息是机器理解世界的基础。但你是否想过，相机拍摄的画面——那个二维的像素矩阵，究竟是如何精确反映现实三维世界的？
这就涉及到了我们今天要探讨的核心主题：相机标定。如果我们把相机比作眼睛，标定就是验光配镜的过程，只有清楚了“眼球”的构造参数（内参）和它在这个世界中的位置（外参），我们才能准确地判断物体的大小、距离和姿态。在这篇文章中，我们将摒弃枯燥的理论堆砌，像战友一样并肩作战，通过 Python 和 OpenCV 一步步揭开 3D 重建背后的神秘面纱。无论你是想构建一个增强现实（AR）应用，还是想让机器人自主导航，这篇文章都将为你提供坚实的基石。
为什么我们需要相机标定？
首先，让我们直面一个现实问题：镜头不是完美的。
工业制造的镜头，尤其是广角镜头，不可避免地会引入畸变。最直观的例子就是“桶形畸变”——画面边缘的直线被弯曲成了弧线。这种畸变严重影响了后续的测量和三维重建。因此，我们需要通过标定来消除这种畸变。
其次，我们需要建立数学模型。我们要将现实世界中的点 $P(X, Y, Z)$ 映射到图像平面上的点 $p(u, v)$。这就需要两组关键参数：
- 内参：这是相机特有的属性。主要包括焦距（$fx, fy$）和光心（$cx, cy$，通常接近图像中心）。光心告诉我们图像的中心在哪里，焦距则结合了镜头的物理焦距和传感器的像素尺寸。此外，还包括描述镜头非线性畸变的系数（$k1, k2, p1, p2$ 等）。
- 外参：这是描述相机姿态的参数，即旋转矩阵和平移向量，用于描述相机相对于世界坐标系的位置。
准备工作：核心工具
在开始编码之前，我们需要确保手里有称手的工具。
- OpenCV (INLINECODE24fbb479)：这是我们最强大的武器。它提供了完整的计算机视觉算法，从图像的读取、显示到复杂的矩阵运算，全靠它来支撑。我们将使用其中的 INLINECODEc3443a05 来执行核心计算，用
cv2.findChessboardCorners()来提取特征。 - NumPy：OpenCV 的图像在 Python 中本质上就是 NumPy 数组。我们需要利用 NumPy 进行高效的矩阵操作，定义世界坐标系中的 3D 点网格。
核心思路：如何进行标定？
为了求解相机的参数，我们需要一个“参照物”。最常用的参照物就是棋盘格。为什么是棋盘格？
- 规则的黑白交替使得角点检测算法非常容易识别。
- 我们假设棋盘格是完全平整的，并且我们人工设定每个方格的物理尺寸（例如 30mm）。这为我们提供了现实世界的“真值”。
我们将通过以下四个步骤完成任务：
- 定义坐标系：假设棋盘格平面在 $Z=0$ 的平面上，计算角点的 $(X, Y)$ 坐标。
- 采集图像：从不同角度、不同距离拍摄多张棋盘格照片。视角越丰富，标定结果越精确。
- 提取角点：使用算法自动识别每一张图中的角点，并进行亚像素级精化。
- 求解参数：将 3D 世界坐标与 2D 图像坐标输入算法，求解出相机的内参矩阵和畸变系数。
编码实战：一步步实现
#### 环境与数据准备
在运行代码前，请确保你有一个包含多张棋盘格照片的文件夹。将这些图片放在你的代码同级目录下，或者修改代码中的路径。我们将使用 glob 库来批量读取这些 .jpg 文件。
#### 代码示例 1：完整的标定流程
这是我们的核心代码，请仔细阅读其中的注释，理解每一步的逻辑。
import cv2
import numpy as np
import os
import glob
# 定义棋盘格的尺寸
# 这里指的是内部角点的数量，而不是方格数
# 一个标准的棋盘格通常是 (9, 6)，即横向9个角点，纵向6个角点
CHECKERBOARD = (6, 9)
# 定义终止条件：迭代 30 次或精度达到 0.001
# 这是角点精化算法的停止条件
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# 创建向量来存储 3D 世界坐标点和 2D 图像坐标点
threedpoints = []
twodpoints = []
# 定义 3D 世界坐标
# 我们假设棋盘格位于 Z=0 的平面上，所以 objectPoints 的形状是
# 首先生成一个全零数组，形状为 (1, 角点总数, 3)
objectp3d = np.zeros((1, CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32)
# 为 X 和 Y 坐标赋值
# np.mgrid 生成网格坐标，T.reshape(-1, 2) 将其重塑为 (x, y) 对
# 这里我们假设每个方格的物理单位为 1，实际应用中应乘以实际边长(如30mm)
objectp3d[0, :, :2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)
prev_img_shape = None
# 获取当前目录下所有 .jpg 图片的路径
# 你也可以修改为 ‘images/*.jpg‘ 来读取特定文件夹
images = glob.glob(‘*.jpg‘)
# 遍历每一张图片
for filename in images:
image = cv2.imread(filename)
if image is None:
print(f"无法读取图片: {filename}，请检查路径是否正确。")
continue
grayColor = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 寻找棋盘格角点
# ret: 是否找到角点的布尔值
# corners: 角点的像素坐标
ret, corners = cv2.findChessboardCorners(
grayColor, CHECKERBOARD,
cv2.CALIB_CB_ADAPTIVE_THRESH + cv2.CALIB_CB_FAST_CHECK + cv2.CALIB_CB_NORMALIZE_IMAGE
)
# 如果找到了角点
if ret == True:
# 增加世界坐标系中的点（因为我们假设每张照片对应同一个棋盘格坐标系，所以是同一个 objectp3d）
threedpoints.append(objectp3d)
# 增加图像坐标系中的点
# corners2 是精化后的角点坐标
# 这一步非常重要，它将角点坐标精确到亚像素级别，大大提高标定精度
corners2 = cv2.cornerSubPix(grayColor, corners, (11, 11), (-1, -1), criteria)
twodpoints.append(corners2)
# 绘制并显示角点（用于可视化调试）
image = cv2.drawChessboardCorners(image, CHECKERBOARD, corners2, ret)
# 显示图片，按任意键继续
# 如果你在服务器环境运行，可以注释掉这两行
cv2.imshow(‘img‘, image)
cv2.waitKey(0)
# 释放所有窗口
cv2.destroyAllWindows()
# 如果没有成功处理任何图片，给出提示
if len(twodpoints) == 0:
print("错误：未能检测到任何棋盘格角点。请检查 CHECKERBOARD 参数设置或图片质量。")
else:
# 获取图像的尺寸（高，宽）
# 注意：这里使用的是最后一张图片的尺寸，请确保所有图片尺寸一致
h, w = image.shape[:2]
# 执行相机标定
# 输入：3D点集、2D点集、图像尺寸
# 输出：
# ret: 标定是否成功的重投影误差
# matrix: 相机内参矩阵
# distortion: 畸变系数
# r_vecs: 旋转向量
# t_vecs: 平移向量
ret, matrix, distortion, r_vecs, t_vecs = cv2.calibrateCamera(
threedpoints, twodpoints, grayColor.shape[::-1], None, None
)
# 打印结果
print("
相机内参矩阵:")
print(matrix)
print("
畸变系数:")
print(distortion)
print("
旋转向量:")
print(r_vecs)
print("
平移向量:")
print(t_vecs)
代码深度解析
在上面的代码中，有几个关键点需要我们特别注意，它们直接决定了标定的成败。
- INLINECODEadeadcc8 的定义：我们定义的是内部角点的数量。例如，如果你的棋盘格有 7 列 10 行的格子，那么角点数就是 $6 \times 9$。设置错误会导致 INLINECODE1bf97358 一直返回 False。
- 角点精化：你可能注意到了
cv2.cornerSubPix。为什么要在找到角点后还要再做一次？因为初步提取的角点可能受光照影响，或者处于像素的边缘，精度不够。精化过程会在角点附近寻找一个数学上的最佳点，精度可以提升到亚像素级别。这对于高精度测量至关重要。 - 物理坐标系的建立：在代码中 INLINECODEca485d33，我们将 $(0,0)$ 设在了棋盘格的左上角。这里的单位是“方块”，而不是毫米。如果你需要测量实际距离，需要在后续计算中乘以每个方块的实际边长（比如 30mm），即 INLINECODE94b16985。
深入应用：畸变矫正与立体校正
仅仅拿到参数是不够的，我们来看看如何利用这些参数做点实事。
#### 代码示例 2：利用内参矩阵去除图像畸变
一旦我们得到了 INLINECODE05b4decc（畸变系数）和 INLINECODEcbc54fef（内参矩阵），就可以让照片恢复“直视世界”的能力。去畸变后的图像对于后续的边缘检测、特征匹配非常有用。
import cv2
import numpy as np
import glob
# 假设这是从上一个例子中计算得到的参数
# 为了演示，这里手动赋值，实际应用中请使用 calibrateCamera 的返回值
# 假设图片尺寸为 1280x720
h, w = 720, 1280
# 模拟一个相机矩阵 (fx, fy, cx, cy)
mtx = np.array([[1000, 0, w/2],
[0, 1000, h/2],
[0, 0, 1]], dtype=np.float32)
# 模拟畸变系数
# 切向畸变系数
# 读取一张测试图片
images = glob.glob(‘test_image.jpg‘)
for fname in images:
img = cv2.imread(fname)
if img is None: continue
# 方法 1: 使用 cv2.undistort()
# 这是最简单直接的方法
dst = cv2.undistort(img, mtx, dist, None, mtx)
# 方法 2: 使用 remapping (优化速度)
# 如果需要对视频流进行实时处理，建议使用这种方法
# 它提前计算了映射关系，避免了重复计算
#
# 畸变矫正的正确性。
print("重投影误差: {:.4f}".format(mean_error))
常见陷阱与最佳实践
在实战中，我们经常遇到各种坑。这里有一些经验之谈，希望能帮你少走弯路：
- 不要使用模糊的图片：运动模糊是角点检测的杀手。拍照时保持相机稳定，或者使用较快的快门速度。
- 覆盖全视野：不要只拍棋盘格在画面正中心的照片。畸变主要发生在边缘。你需要让棋盘格出现在画面的左上、右下、左侧边缘等各个位置。只有这样，算法才能准确计算出边缘的畸变系数。
- 平面必须平整：你打印的棋盘格纸必须完全平整，不能有卷曲。任何弯曲都会被视为镜头畸变，从而导致标定结果不可用。建议将其贴在玻璃或硬纸板上。
- 光照环境：避免强光直射导致反光。反光会让棋盘格的白色部分看起来很亮，黑色部分变灰，干扰角点识别。均匀的漫反射光是最好的。
- 图片数量：理论上线性方程组求解至少需要 3-4 张图片，但在实践中，为了消除噪声和得到鲁棒的结果，通常建议拍摄 15 到 20 张 不同角度的照片。
总结与后续步骤
今天，我们一起完成了一次完整的“相机验光”。我们从 2D 图像中反推了 3D 世界的坐标关系，学习了如何使用 Python 和 OpenCV 进行相机标定，并亲手编写了角点提取、参数计算和畸变矫正的代码。
通过这篇文章，你掌握了：
- 相机内参（焦距、光心）和畸变系数的物理意义。
- 使用棋盘格进行张正友标定法的完整流程。
- 如何处理图像去畸变并评估标定质量。
但这仅仅是开始。掌握了相机标定，你就拿到了通往高级计算机视觉大门的钥匙。接下来，你可以尝试：
- 立体视觉：使用两个标定好的相机进行双目测距，这需要你在今天学习的基础上，进行立体校正。
- 姿态估计：在已知相机参数的情况下，通过识别物体上的特定点，计算物体在空间中的实时姿态，这对于机械臂抓取至关重要。
- AR 增强现实：将虚拟物体精确地放置在现实场景的地板上，这同样离不开精确的相机参数。
希望这篇教程对你有所帮助。快去拿起你的相机，拍几张棋盘格，开始你的视觉探索之旅吧！如果有任何问题，欢迎随时交流。