EgoMono4D: Self-Supervised Monocular 4D Scene Reconstruction for Egocentric Videos

Introduction

Egocentric Video（第一人称视频）通常由佩戴在人头部的相机拍摄，可以记录人在真实环境中的移动、手部操作和物体状态变化。

为了完整理解这类视频，模型需要同时恢复：

• 场景的三维结构；
• 相机在三维空间中的运动；
• 手和物体等动态区域的运动。

该任务被称为 4D Scene Reconstruction。这里的 4D 表示：

$$\text{3D空间}+\text{时间}$$

模型需要为视频中的每一帧恢复一个三维点云，并将所有帧的点云放在同一个全局坐标系中。

例如，在“拿起杯子”的视频中：

• 桌面和墙面在全局坐标系中保持静止；
• 相机随人的头部发生移动；
• 手和杯子具有独立运动；
• 每个视频帧都对应一个三维场景状态。

该任务主要面临以下问题：

• 单目深度歧义：普通 RGB 相机没有直接测量深度，一个像素无法唯一确定对应三维点的位置。
• 相机运动剧烈：第一人称相机经常伴随快速旋转、平移和抖动。
• 场景包含动态物体：手和交互物体的运动会破坏传统静态场景假设。
• 三维标签稀缺：真实深度、相机位姿和动态点云通常需要深度相机、多相机系统或动作捕捉设备采集。
• 长视频计算成本高：部分动态 NeRF 或 Gaussian Splatting 方法需要对每段视频单独优化。

现有前馈式 4D 重建模型通常依赖真实深度和相机位姿进行监督训练，难以直接利用 EPIC-KITCHENS 等大规模无三维标注的第一人称视频。

该文章提出 EgoMono4D，使用自监督学习完成第一人称单目视频的稠密 4D 重建。模型统一估计：

• 视频深度 Video Depth；
• 相机内参 Camera Intrinsic；
• 相机位姿 Camera Pose；
• 用于位姿求解的置信度图 Confidence Map。

核心思想：

• 使用预训练单帧深度模型 UniDepth 提供初始几何能力；
• 加入视频特征适配器，在多帧之间融合时序信息；
• 使用光流和长时点跟踪建立跨帧像素对应；
• 将对应像素反投影为三维点，通过点云对齐求解相机位姿；
• 使用三维几何一致性在无真实三维标签的视频上训练模型；
• 使用滑动窗口完成长视频流式重建。

EgoMono4D 在 HOI4D、H2O、POV-Surgery 和 ARCTIC-HOI 上进行评测，在域内场景和零样本场景中均取得较好的点云序列重建结果。

Related Work

Monocular Depth Estimation（单目深度估计）

单目深度估计的输入是一张 RGB 图像，输出为与图像分辨率相同的深度图：

$$D\in\mathbb{R}^{H\times W}$$

其中 $D(i,j)$ 表示像素 $(i,j)$ 对应三维点相对于相机的深度。

现有方法主要包括：

• 监督式深度估计：使用真实深度图训练，代表模型包括 MiDaS、Depth Anything 和 UniDepth。
• 自监督深度估计：使用相邻视频帧之间的重投影误差训练，无需真实深度标签。

EgoMono4D 建立在 UniDepth 上。UniDepth 可以从单张图像同时预测：

• Metric Depth：具有物理尺度含义的深度；
• Camera Intrinsic：焦距和主点等相机内部参数。

直接逐帧运行 UniDepth 会产生不一致：

• 同一物体在不同帧中的预测尺度可能变化；
• 平面形状可能发生抖动；
• 每帧点云位于各自的相机坐标系中；
• 缺少帧间相机运动信息。

EgoMono4D 在 UniDepth 中加入时间特征融合，并通过跨帧三维约束对视频预测进行联合优化。

---

Structure from Motion and SLAM

Structure from Motion（SfM）根据多张图像中的特征点对应，联合估计：

• 相机在不同图像中的位置和朝向；
• 场景特征点的三维坐标。

SLAM 在此基础上进一步强调实时相机定位和地图构建。

传统 SfM 和 SLAM 通常依赖静态场景假设。对于同一个静态三维点，它在不同帧中的二维位置变化应当主要由相机运动引起。

第一人称视频中存在大量手物交互区域：

• 手会相对于背景移动；
• 被操作物体会产生旋转和平移；
• 手和物体会频繁遮挡背景；
• 运动模糊会降低特征匹配质量。

如果直接将动态区域用于相机位姿估计，物体运动可能被错误地计入相机运动。

此外，传统 SLAM 通常生成稀疏或半稠密地图，而 EgoMono4D 需要为每一帧中的每个像素恢复三维位置。

---

Dense 4D Reconstruction for Dynamic Scenes

动态场景 4D 重建方法主要可以分为两类。

Test-Time Optimization

这类方法会为每段输入视频单独优化：

• 深度；
• 相机轨迹；
• 场景表示；
• 动态物体形变。

代表方法包括动态 NeRF、动态 Gaussian Splatting 和部分 scene flow 方法。

优点：

• 可以针对当前视频进行精细优化；
• 能够获得较高质量的场景表示。

局限：

• 每段新视频都需要重新优化；
• 推理时间较长；
• 难以扩展到数百万帧的第一人称视频。

Feed-Forward Reconstruction

DUSt3R 等方法使用神经网络直接输出多帧三维结构。后续工作进一步扩展到动态场景：

• MonST3R：在动态合成数据上微调 DUSt3R；
• Align3R：加入单目深度先验；
• CUT3R：使用记忆模块融合长时间信息。

这类方法推理速度更快，但通常依赖带有真实深度或相机标签的数据训练。

EgoMono4D 使用大规模无三维标签的第一人称视频，通过自监督几何约束训练前馈模型。

---

Egocentric Video Understanding

第一人称视频研究通常关注：

• 动作识别；
• 手和物体检测；
• 手物分割；
• 动作预测；
• 三维手部轨迹预测；
• 手物几何重建。

这些任务大多聚焦于局部手物区域。EgoMono4D 的目标覆盖完整场景，包括：

• 静态背景；
• 相机轨迹；
• 手部动态；
• 交互物体动态；
• 每帧稠密三维结构。

EgoGaussian 等工作可以通过 Gaussian Splatting 重建第一人称场景，但需要较长的逐场景优化时间。EgoMono4D 使用前馈推理，在论文报告中取得约 30 倍的速度提升。

Method

Problem Definition

给定长度为 $T$ 的第一人称单目视频：

$${I_t\in\mathbb{R}^{H\times W\times3}}_{t=0}^{T-1}$$

其中：

• $T$：视频帧数；
• $H,W$：图像高度和宽度；
• $I_t$：第 $t$ 帧 RGB 图像。

模型需要输出稠密点云序列：

$${\hat S_t\in\mathbb{R}^{H\times W\times3}}_{t=0}^{T-1}$$

$\hat S_t(i,j)$ 表示第 $t$ 帧中像素 $(i,j)$ 对应的全局三维坐标。

表示方式

EgoMono4D 将点云序列分解为三个变量：

• 视频深度：

$$\hat D_t\in\mathbb{R}^{H\times W}$$

• 相机内参：

$$\hat K= \begin{bmatrix} f_x&0&c_x\\ 0&f_y&c_y\\ 0&0&1 \end{bmatrix}$$

• 相机位姿：

$$\hat P_t= \begin{bmatrix} R_t&t_t\\ 0&1 \end{bmatrix}$$

其中：

• $f_x,f_y$：水平方向和垂直方向的焦距；
• $(c_x,c_y)$：相机主点，一般位于图像中心附近；
• $R_t$：第 $t$ 帧相机的三维旋转；
• $t_t$：第 $t$ 帧相机的三维平移。

相机内参描述相机内部的成像方式，相机位姿描述相机在三维世界中的位置和朝向。

深度反投影

二维像素只表示一条从相机出发的空间射线。结合深度后，可以确定该射线上的具体三维位置。

对于像素 $p(i,j)=[j,i]^T$，先写成齐次坐标：

$$h(p(i,j))= \begin{bmatrix} j\\ i\\ 1 \end{bmatrix}$$

使用相机内参和深度进行反投影：

$$\hat X_t(i,j)=\hat D_t(i,j)\hat K^{-1}h(p(i,j))$$

其中 $\hat X_t$ 是第 $t$ 帧在当前相机坐标系中的点云。

由于相机一直移动，不同帧的 $\hat X_t$ 位于不同坐标系。论文以第 0 帧作为全局参考，将每帧点云转换到统一坐标系：

$$\hat S_t(i,j)=h^{-1} \left( \hat P_0^{-1} \hat P_t h(\hat X_t(i,j)) \right)$$

经过坐标变换后：

• 静态桌面在不同帧中应当重合；
• 静态墙面应当保持固定；
• 手和物体可以随时间移动。

---

Camera Pose from Depth Alignment

EgoMono4D 没有让神经网络直接回归相机旋转和平移，而是将相机位姿估计转化为三维点云对齐问题。

光流与三维对应

Optical Flow（光流）描述一个像素从前一帧移动到后一帧的位置。

假设第 $i-1$ 帧中的像素为：

$$p=(u,v)$$

光流预测该像素在第 $i$ 帧中移动到：

$$p'=(u+\Delta u,v+\Delta v)$$

由此可以得到二维对应关系：

$$p_{i-1}\leftrightarrow p_i'$$

结合两帧深度，可以将二维对应转换为三维对应：

$$\hat X_{i-1}(p) \leftrightarrow \hat X_i(p')$$

对于静态场景点，两组三维坐标之间应当只相差相机的旋转和平移。

置信度图

第一人称视频中，并非所有光流对应都适合估计相机运动。

以下区域容易产生错误：

• 手和交互物体等动态区域；
• 前后帧中的遮挡区域；
• 前景和背景之间的深度边缘；
• 光流预测错误区域。

EgoMono4D 为相邻帧预测置信度图：

$$\hat{\mathcal M}_{i,i-1}\in[0,1]^{H\times W}$$

置信度越高，该像素对应越适合用于相机位姿估计。

例如：

• 静止桌面的置信度较高；
• 快速运动的手部置信度较低；
• 遮挡边缘的置信度较低。

Weighted Procrustes Alignment

相对相机位姿通过下面的目标求解：

$$\hat P_{i,i-1}= \arg\min_{P\in SE(3)} \left| \hat{\mathcal M}_{i,i-1} \odot \left( \hat X_{i-1} - P\hat X_i^{\leftarrow i-1} \right) \right|_2$$

其中：

• $SE(3)$：三维旋转和平移构成的刚体变换集合；
• $\odot$：逐元素乘法；
• $\hat X_i^{\leftarrow i-1}$：根据光流，将第 $i$ 帧点云采样到第 $i-1$ 帧对应位置；
• $\hat{\mathcal M}_{i,i-1}$：每个对应点的权重。

该问题被称为 Weighted Procrustes Alignment：寻找一个旋转和平移，使两组三维对应点尽可能重合。

它可以通过 SVD（奇异值分解）得到闭式解，因此：

• 无需迭代优化相机位姿；
• 可以嵌入神经网络计算图；
• 三维对齐误差可以反向传播到深度和置信度预测。

相隔较远的两帧位姿通过累乘相邻帧变换得到：

$$\hat P_{j,i}=\hat P_{j,j-1}\cdots \hat P_{i+1,i}$$

---

Model Architecture

EgoMono4D 需要预测：

• 多帧深度 $\hat D_{1:T}$；
• 相机内参 $\hat K$；
• 置信度图 $\hat{\mathcal M}$。

相机位姿由多帧深度对齐模块计算。

模型使用 UniDepthV2-L 作为基础网络，并进行两项修改。

From Image to Video Estimation

UniDepth 原本逐张处理图像。其编码器输出两类特征：

• DINO patch features：

$$F_{\text{dino}} \in \mathbb{R}^{ T\times \frac{H}{s_h}\times \frac{W}{s_w}\times D_{\text{dino}} }$$

• Global token features：

$$F_{\text{global}} \in \mathbb{R}^{T\times D_{\text{global}}}$$

Patch feature 保留局部空间信息，例如：

• 物体边缘；
• 局部纹理；
• 场景布局；
• 前后景关系。

Global token 表示整张图像的全局信息。

为了融合时间信息，论文加入两种 Video Adaptor：

• Global token：使用沿时间维度运行的 Transformer；
• Patch feature：使用 3D U-Net 同时融合时间和空间特征。

这里的 3D U-Net 在 $T\times H\times W$ 特征空间中计算，“3D”表示时间、高度和宽度三个特征轴。

经过特征融合后，当前帧的深度预测可以参考邻近帧。例如，当物体在当前帧中被手部遮挡时，模型可以利用其他帧中更完整的物体特征。

Confidence Mask Decoder

论文新增一个三层 MLP 作为置信度解码器，输入包括：

• Video Adaptor 输出的浅层融合特征；
• UniDepth Decoder 输出的深度特征和置信信息；
• 根据相邻帧光流插值得到的对应位置特征。

最后通过 Sigmoid 将结果限制在 $[0,1]$：

$$\hat{\mathcal M}=\operatorname{Sigmoid} \left( \operatorname{MLP}(F) \right)$$

该分支学习哪些像素适合用于三维对齐和相机位姿求解。

---

Self-Supervised 4D Reconstruction Losses

仅加入视频网络结构无法保证多帧预测的一致性。

例如：

• 同一个桌面在不同帧中的深度尺度可能不同；
• 不同窗口预测的焦距可能变化；
• 相机位姿与深度可能无法共同解释光流；
• 手部和物体可能被错误地用于背景对齐。

EgoMono4D 使用三维几何约束在无真实三维标签的视频上训练。

损失分为：

1. 基于光流和点跟踪的三维对齐损失；
2. 基于预训练模型的正则化损失。

Photometric Loss from Flow and Track Prior

论文使用两种跨帧对应信息：

• GMFlow：提供相邻帧之间的稠密光流；
• CoTracker：提供跨越多帧的长时点轨迹。

GMFlow 更适合短时间对应，CoTracker 用于约束较远视频帧之间的一致性。

根据光流或点轨迹，将第 $j$ 帧中的点采样到第 $i$ 帧对应位置：

$$\hat X_j^{\leftarrow i}$$

再使用相对相机位姿变换到第 $i$ 帧坐标系：

$$\hat P_{j,i}\hat X_j^{\leftarrow i}$$

三维对应点误差为：

$$\mathcal L_{\text{flow/track}}= \frac{ \left| \tilde{\mathcal M}_{i+1,i} \tilde{\mathcal M}_{j,j-1} \odot \left( \hat X_i- \hat P_{j,i}\hat X_j^{\leftarrow i} \right) \right|_2 }{ F(\hat X_j) \left| \tilde{\mathcal M}_{i+1,i} \tilde{\mathcal M}_{j,j-1} \right|_1 }$$

其中 $F(\hat X_j)$ 表示点云的第一主成分，用于近似场景整体尺度。

单目三维重建存在尺度歧义。一个场景及其相机平移同时放大相同倍数后，仍可能产生相同的二维图像。使用 $F(\hat X_j)$ 归一化，可以降低整体尺度对损失的影响，并防止所有点收缩到一个很小区域。

论文沿用 Photometric Loss 的名称，但该损失实际比较的是三维对应点的位置误差。

Pseudo-confidence Mask

计算三维对齐损失时，作者使用预先生成的伪置信度掩码 $\tilde{\mathcal M}$。

伪掩码来自：

1. 手物交互区域

   • 使用 EgoHOS 分割手和交互物体；
   • 这些区域可能产生独立运动；
   • 在相机对齐中降低权重。

2. 深度边缘

   • 根据 UniDepth 深度图提取深度不连续区域；
   • 降低 flying pixels 的影响。

Flying pixels 指深度边缘处产生的异常三维点。例如，手部深度为 $0.5$ 米，背景墙面深度为 $3$ 米，边界像素可能被预测为 $1.5$ 米，从而形成漂浮在前景和背景之间的点。

对于 EPIC-KITCHENS 中没有手部出现的片段，论文还利用极线几何误差检测其他动态区域。

使用伪掩码可以避免预测置信度快速收缩。当模型将所有像素置信度设为 0 时，对齐误差会变小，但相机位姿也失去有效对应点。

Shape Regularization Loss

论文使用冻结的 UniDepth 生成单帧伪点云 $\tilde X_t$，约束 EgoMono4D 输出的点云形状：

$$\mathcal L_{\text{shape}}= \frac{1}{HW} \min_{s,R,T} \left| sR\hat X_t+T-\tilde X_t \right|_2$$

其中：

• $s$：整体缩放；
• $R$：旋转矩阵；
• $T$：平移向量。

损失允许两组点云先进行相似变换对齐，因此重点约束：

• 桌面是否接近平面；
• 前景和背景的相对深度；
• 手和物体相对于场景的位置；
• 单帧点云的整体几何形状。

Mask Regularization Loss

预测置信度图通过二元交叉熵拟合伪掩码：

$$\mathcal L_{\text{mask}}=\operatorname{BCE} \left( \hat{\mathcal M}, \tilde{\mathcal M} \right)$$

该损失用于：

• 加快置信度分支收敛；
• 保留足够多的静态背景点；
• 降低动态区域和遮挡区域的权重。

Camera Consistency Self-Supervision

同一段视频通常由同一台相机拍摄，因此不同视频窗口预测的相机内参应当接近。

对于同一视频中的两个片段 $V_1$ 和 $V_2$：

$$\mathcal L_{\text{con}}= \left| \hat K_{V_1} - \hat K_{V_2} \right|_2$$

该损失可以降低窗口之间的焦距和主点波动。

Final Loss

最终训练目标为：

$$\mathcal L= \alpha\mathcal L_{\text{shape}} + \beta\mathcal L_{\text{flow}} + \gamma\mathcal L_{\text{track}} + \lambda\mathcal L_{\text{mask}} + \mu\mathcal L_{\text{con}}$$

默认权重为：

$$\alpha=4,\qquad \beta=5,\qquad \gamma=5,\qquad \lambda=1,\qquad \mu=0.005$$

---

Inference Strategy

一次性处理完整长视频需要保存大量中间特征，会产生较高显存开销。

EgoMono4D 使用滑动窗口推理：

• 每个窗口包含 $N_w$ 帧；
• 相邻窗口共享 $N_o$ 帧；
• 每个窗口独立预测点云；
• 使用重叠帧对齐相邻窗口。

设相邻窗口为 $w_i$ 和 $w_{i+1}$，它们在重叠时间戳 $E_{i+1}^{ov}$ 上分别输出：

$$\hat S_{E_{i+1}^{ov}}^{w_i}, \qquad \hat S_{E_{i+1}^{ov}}^{w_{i+1}}$$

通过重叠点云求解相似变换：

$$(s^*,R^*,T^*)= \arg\min_{s,R,T} \left| sR\hat S_{E_{i+1}^{ov}}^{w_{i+1}} + T - \hat S_{E_{i+1}^{ov}}^{w_i} \right|_2$$

随后将窗口 $w_{i+1}$ 的所有点云变换到前一窗口的坐标系，并完成拼接。

论文默认：

• 窗口大小 $N_w=4$；
• 重叠大小 $N_o=1$。

该策略使显存占用主要由窗口大小决定，可以流式处理较长的视频。

Experiment

Dataset

Training Dataset

模型使用以下第一人称视频训练：

• H2O；
• HOI4D；
• FPHA；
• EgoPAT3D；
• EPIC-KITCHENS。

每段视频被切分为 20 帧子序列，总训练规模约为：

$$11.2\text{ million frames}$$

其中约 970 万帧来自没有三维标签的 EPIC-KITCHENS。

In-domain Evaluation

• HOI4D；
• H2O。

训练集和测试集按照 Scene ID 划分，避免相同场景同时出现在训练和测试数据中。

Zero-shot Evaluation

• POV-Surgery；
• ARCTIC-HOI。

POV-Surgery 包含第一人称手术操作场景，与日常厨房和实验室场景存在较大领域差异。

ARCTIC 只提供手和物体的 Mocap 三维标签，因此论文将该评测设置称为 ARCTIC-HOI，只评价前景手物区域。

评测视频统一切分成 40 帧片段。

---

Implementation Details

• 基础模型：UniDepthV2-L；
• 冻结 UniDepth Encoder；
• 输入分辨率：$288\times384$；
• 每个训练样本：4 帧；
• 随机帧间隔：$[1,4]$；
• Optimizer：Adam；
• Learning Rate：$5\times10^{-5}$；
• Batch Size：16；
• 训练硬件：8 张 NVIDIA A800；
• 训练步数：350k iterations；
• 推理窗口：4 帧；
• 窗口重叠：1 帧。

---

Baseline

论文选择能够进行稠密重建，并且推理复杂度接近视频长度线性增长的方法。

• Modularized Version

  • MapFreeVR + UniDepth + GMFlow + EgoHOS；
  • 先逐帧预测深度；
  • 再使用光流和点云对齐计算相机位姿；
  • 不进行端到端训练；
  • 可以看作 EgoMono4D 的模块化版本。

• DS+UniDepth

  • DROID-SLAM + UniDepth；
  • 使用 DROID-SLAM 估计相机轨迹；
  • 使用 UniDepth 提供稠密深度。

• DUSt3R

  • 前馈式多视图三维重建模型；
  • 直接预测多张图像之间的三维结构。

• MonST3R

  • 在动态合成数据上微调 DUSt3R；
  • 加强动态场景建模能力。

• Align3R

  • 在多视图模型中引入单目深度先验；
  • 改善动态场景几何预测。

• CUT3R

  • 使用记忆模块融合长时间多帧信息；
  • 减少多帧独立预测造成的不一致。

所有方法均不在测试用的实验室第一人称数据集上进行额外微调。

---

Metrics

论文评估两个任务：

1. Dense Pointcloud Sequence Reconstruction；
2. Long-term 3D Scene Flow Recovery。

Chamfer Distance

Chamfer Distance 衡量预测点云 $P$ 与真实点云 $Q$ 之间的双向最近邻距离：

$$\operatorname{CD}(P,Q)= \frac{1}{|P|} \sum_{p\in P} \min_{q\in Q}|p-q|_2 + \frac{1}{|Q|} \sum_{q\in Q} \min_{p\in P}|q-p|_2$$

第一项衡量预测点是否接近真实点云，第二项衡量真实点是否被预测点云覆盖。

• 单位：mm；
• 越低越好。

Pointcloud F-score

给定距离阈值 $\delta$：

• Precision：预测点中距离真实点云小于 $\delta$ 的比例；
• Recall：真实点中距离预测点云小于 $\delta$ 的比例。

$$F_\delta= \frac{ 2P_\delta R_\delta }{ P_\delta+R_\delta }$$

论文报告：

• $F_1$：阈值为 1 cm；
• $F_{2.5}$：阈值为 2.5 cm；
• $F_5$：阈值为 5 cm。

F-score 越高越好。

由于单目重建存在全局尺度歧义，评测前先使用带缩放的刚体变换将预测点云和真实点云对齐。

---

Dense Pointcloud Sequence Reconstruction

模型	HOI4D CD / $F_1$ / $F_{2.5}$ / $F_5$	H2O CD / $F_1$ / $F_{2.5}$ / $F_5$
Modularized Version	8.9 / 15.4 / 38.2 / 68.0	4.7 / 47.8 / 81.5 / 94.2
DS+UniDepth	6.7 / 23.2 / 53.4 / 79.9	5.1 / 36.5 / 75.0 / 93.2
DUSt3R	8.6 / 24.0 / 53.2 / 76.8	8.8 / 23.1 / 56.0 / 82.7
MonST3R	7.6 / 21.4 / 50.8 / 77.9	14.7 / 15.1 / 42.4 / 70.0
Align3R	7.1 / 22.3 / 53.4 / 78.9	11.5 / 20.0 / 45.4 / 72.0
CUT3R	7.5 / 20.1 / 47.5 / 74.3	7.4 / 17.2 / 57.2 / 93.1
EgoMono4D	5.9 / 27.9 / 59.6 / 83.1	5.1 / 54.2 / 83.9 / 94.4

模型	POV-Surgery CD / $F_1$ / $F_{2.5}$ / $F_5$	ARCTIC-HOI CD / $F_1$ / $F_{2.5}$ / $F_5$
Modularized Version	223.3 / 3.6 / 9.6 / 19.1	5.8 / 12.6 / 33.8 / 63.2
DS+UniDepth	39.1 / 7.7 / 20.0 / 38.7	2.9 / 22.2 / 60.2 / 84.7
DUSt3R	55.4 / 9.7 / 24.7 / 45.1	3.2 / 20.8 / 53.7 / 83.1
MonST3R	94.5 / 6.5 / 17.8 / 34.8	5.4 / 9.9 / 31.8 / 65.0
Align3R	41.1 / 7.9 / 21.0 / 40.4	4.5 / 14.2 / 41.5 / 75.8
CUT3R	107.6 / 4.7 / 12.8 / 25.6	4.5 / 18.7 / 48.2 / 77.9
EgoMono4D	33.8 / 13.5 / 32.0 / 53.9	2.8 / 24.1 / 57.5 / 86.2

可以看到：

• EgoMono4D 在 HOI4D 上取得最优 CD 和全部 F-score；
• 在 H2O 上，Modularized Version 的 CD 最低，EgoMono4D 的三个 F-score 最优；
• 在零样本 POV-Surgery 上，EgoMono4D 的 $F_5$ 达到 53.9；
• 在 ARCTIC-HOI 前景区域中，EgoMono4D 取得最优 CD 和 $F_5$。

Modularized Version 与 EgoMono4D 使用相近的基础组件，但没有端到端自监督训练。二者的性能差异说明：

• 单独拼接深度、光流和位姿模块容易累积误差；
• 深度、内参和相机位姿需要满足统一的三维几何约束；
• 大规模无标注第一人称视频有助于学习该领域中的几何和运动模式。

---

Long-term 3D Scene Flow Recovery

给定第一帧中的一个查询点，Long-term 3D Scene Flow 需要预测该三维点在后续帧中的轨迹：

$$x_0\rightarrow x_1\rightarrow\cdots\rightarrow x_T$$

该任务同时评价：

• 第一帧三维结构是否准确；
• 相机轨迹是否准确；
• 动态物体运动是否准确；
• 长时间坐标系是否保持一致。

例如，对于杯子表面上的一个查询点：

• 杯子静止时，该点应当在全局坐标系中保持稳定；
• 杯子被拿起后，该点应当随杯子移动；
• 相机自身运动不应改变该点的全局位置。

EgoMono4D 在该任务中同样优于论文对比的基线，说明模型能够同时恢复场景结构和部分动态运动。

评测指标

论文使用 CoTracker 在第一帧生成 $35\times35$ 个二维查询点轨迹，再用真实点云序列反投影得到三维轨迹标签。预测轨迹和真实轨迹会先在第一帧通过带尺度的 $SE(3)$ 做对齐。

指标包括：

• ADE：Average Displacement Error，所有时间步的平均三维轨迹误差，单位 mm，越低越好；
• FDE：Final Displacement Error，最后一帧的三维轨迹误差，单位 mm，越低越好；
• $P_\delta$：轨迹点误差小于 $\delta$ cm 的比例，单位为百分比，越高越好。

Full-scene Long-term 3D Scene Flow

模型	HOI4D ADE / FDE / $P_5$ / $P_{10}$	H2O ADE / FDE / $P_5$ / $P_{10}$
Modularized Version	88.8 / 94.8 / 23.1 / 69.0	40.9 / 42.8 / 75.8 / 97.0
DS+UniDepth	64.0 / 75.1 / 54.0 / 82.5	46.4 / 48.6 / 67.6 / 95.0
DUSt3R	79.2 / 75.8 / 47.7 / 75.1	71.7 / 71.5 / 54.3 / 75.9
MonST3R	70.2 / 71.0 / 50.7 / 80.6	96.3 / 97.1 / 27.6 / 67.3
Align3R	66.3 / 67.8 / 53.4 / 83.7	75.3 / 75.5 / 39.2 / 79.7
CUT3R	72.5 / 72.6 / 49.8 / 81.3	50.7 / 57.4 / 67.9 / 91.3
EgoMono4D	57.3 / 60.6 / 59.2 / 87.0	37.0 / 38.9 / 77.0 / 96.4

模型	POV-Surgery ADE / FDE / $P_5$ / $P_{10}$	ARCTIC-HOI ADE / FDE / $P_5$ / $P_{10}$
Modularized Version	504.5 / 767.6 / 3.2 / 13.6	102.0 / 154.6 / 33.8 / 62.0
DS+UniDepth	168.9 / 199.7 / 13.2 / 39.8	53.9 / 72.1 / 60.1 / 86.8
DUSt3R	412.8 / 407.2 / 14.8 / 44.9	214.3 / 181.6 / 52.2 / 82.3
MonST3R	201.8 / 208.9 / 8.4 / 31.8	83.9 / 106.3 / 28.4 / 69.9
Align3R	157.6 / 163.7 / 14.5 / 43.1	64.8 / 83.3 / 43.8 / 83.5
CUT3R	304.6 / 353.0 / 4.6 / 19.3	84.3 / 106.2 / 27.4 / 69.9
EgoMono4D	125.0 / 138.9 / 19.1 / 55.2	53.8 / 72.1 / 57.2 / 87.3

可以看到：

• EgoMono4D 在 HOI4D、H2O 和 POV-Surgery 上全部取得最优 ADE、FDE 和主要 precision 指标；
• POV-Surgery 的绝对误差远高于其他数据集，说明手术场景纹理和动作域差异更大；
• 在 ARCTIC-HOI 上，DS+UniDepth 的 $P_5$ 略高，FDE 与 EgoMono4D 持平，但 EgoMono4D 在 ADE 和 $P_{10}$ 上更好；
• Modularized Version 在 H2O 的 $P_{10}$ 很高，但在 POV-Surgery 上明显崩溃，说明简单拼接模块在长时全场景轨迹中容易累计误差。

HOI-only Long-term 3D Scene Flow

论文还额外比较了 DS+UniDepth 与 EgoMono4D 在手物区域的 long-term scene flow。表中格式为 DS+UniDepth / EgoMono4D。

数据集	ADE ↓	FDE ↓	$P_5$ ↑	$P_{10}$ ↑
HOI4D	79.3 / 76.6	84.6 / 78.4	48.3 / 46.2	77.8 / 81.0
H2O	43.6 / 40.5	45.8 / 41.4	68.6 / 71.2	95.7 / 98.2
POV-Surgery	196.0 / 192.2	213.4 / 206.4	9.9 / 9.9	32.4 / 32.8

这个补充表说明，在只看手和物体前景区域时，DS+UniDepth 与 EgoMono4D 的差距比全场景更小。EgoMono4D 的主要优势来自全局一致性：它不仅要让手物运动合理，还要让静态背景在长时间窗口中保持稳定。

Appendix: Depth and Camera Pose Results

附录还单独评测了视频深度和相机位姿。该实验在 POV-Surgery 上进行，使用 MonST3R 中的指标。

Video Depth

模型	AbsRel ↓	$\delta_{0.05}$ ↑	$\delta_{0.1}$ ↑
UniDepth	11.9	40.8	64.7
DUSt3R	19.7	31.5	51.9
MonST3R	18.6	33.6	52.8
Align3R	13.3	41.7	62.6
EgoMono4D	12.6	41.1	63.9

UniDepth 在 AbsRel 和 $\delta_{0.1}$ 上最优，Align3R 在更严格的 $\delta_{0.05}$ 上最优。EgoMono4D 的深度单项指标接近 UniDepth 和 Align3R，但不是全部最优。

Camera Pose

相机 pose 使用三个指标：

• ATE：Absolute Trajectory Error，整条相机轨迹的全局位置误差，越低越好；
• RPE-T：Relative Pose Error - Translation，相邻或局部相对位姿中的平移误差，越低越好；
• RPE-R：Relative Pose Error - Rotation，相邻或局部相对位姿中的旋转误差，越低越好。

模型	ATE ↓	RPE-T ↓	RPE-R ↓
Modularized Version	47.03	4.10	4.18
DS+UniDepth	9.05	4.17	0.39
MonST3R	6.63	2.41	0.26
Align3R	6.35	2.34	0.23
CUT3R	8.11	2.92	0.31
EgoMono4D	11.54	4.01	0.43

这组结果很重要，因为它说明 EgoMono4D 的优势并不是来自“单独的相机位姿估计最准确”。在 POV-Surgery 上，Align3R 的 pose 指标最好，MonST3R 也优于 EgoMono4D；EgoMono4D 的 ATE 和 RPE-R 甚至弱于 DS+UniDepth。

论文给出的解释是：EgoMono4D 的训练目标主要优化 4D 点云序列的一致性，而不是把深度、内参、相机 pose 每个变量都单独做到最优。换句话说，它更关注这些变量组合起来以后是否能产生稳定的全局点云和长期三维轨迹。因此，即使单项 pose 指标不是最优，最终 dense pointcloud reconstruction 和 long-term 3D scene flow 仍然更好。

---

Ablation Study

消融实验使用 28 万帧训练数据，并在 HOI4D 上评测。

模型变体	CD ↓	$F_1$ ↑	$F_{2.5}$ ↑	$F_5$ ↑
完整模型	6.3	26.9	56.9	81.4
UniDepth-S	6.5	23.8	54.5	79.2
w/o Video Adaptor	6.4	25.8	55.8	80.4
$\alpha=1$	7.1	18.2	48.3	66.4
MiDaS-style depth loss	6.3	26.1	56.2	80.4
2D flow loss	6.2	26.7	57.0	81.0
w/o mask loss	6.5	23.9	53.3	79.0
w/o camera consistency	6.3	25.2	56.4	81.1

UniDepth Backbone

将 UniDepthV2-L 替换成较小的 UniDepth-S 后，各项指标下降。

说明基础深度模型的单帧几何能力会直接影响最终 4D 重建质量。

Video Adaptor

移除 Video Adaptor 后：

$$F_5:81.4\rightarrow80.4$$

多帧特征融合能够改善时间一致性，但性能下降幅度相对有限，整体模型仍然较依赖 UniDepth 的单帧深度先验。

Shape Regularization

将 $\alpha$ 从 4 降低到 1 后：

$$F_5:81.4\rightarrow66.4$$

Shape Regularization 是稳定训练的重要组件。仅依靠跨帧对应时，模型容易产生深度尺度漂移和点云形状退化。

3D Flow Loss

将三维对应损失替换成二维光流损失后：

• CD 从 6.3 改善到 6.2；
• $F_{2.5}$ 从 56.9 改善到 57.0；
• $F_1$ 和 $F_5$ 小幅下降。

三维约束在整体指标上更加稳定，并能直接约束深度、内参和位姿之间的关系。

Mask Regularization

移除 Mask Loss 后：

$$F_1:26.9\rightarrow23.9$$

置信度监督可以减少动态区域、遮挡和错误光流对相机位姿估计的影响。

Camera Consistency

移除 Camera Consistency 后：

$$F_1:26.9\rightarrow25.2$$

同一视频不同窗口之间的相机内参一致性有助于稳定长视频点云拼接。

---

Impact on Video FPS

论文在 POV-Surgery 上改变帧采样间隔，评价模型对视频帧率变化的鲁棒性。

采样设置	CD ↓	$F_1$ ↑	$F_{2.5}$ ↑	$F_5$ ↑
fps / 1	25.5	14.2	33.3	54.8
fps / 2	25.4	13.8	32.8	54.9
fps / 4	25.2	14.1	33.1	55.1
fps / 12	28.5	13.0	31.0	53.5

在中等采样间隔下，模型性能变化较小。

当帧间隔增加到 12 时，性能开始下降。相邻帧外观变化过大后：

• 光流对应更容易失败；
• 手和物体可能移动较远；
• 遮挡关系发生明显变化；
• 点云对齐的有效对应点减少。

因此，EgoMono4D 可以适应一定范围内的视频帧率变化，低帧率下的性能仍然受到光流和点跟踪模块的限制。