Mip-NeRF - A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

image-20231222110226139

图 1：NeRF (a) 沿从每个像素的投影中心跟踪的光线采样点 x，然后使用位置编码 (PE) γ 对这些点进行编码以产生特征 γ(x)。Mip-NeRF (b) 而是推理由相机像素定义的 3D 锥形截锥。然后使用我们的集成位置编码 (IPE) 对这些圆锥截锥进行特征化，该编码的工作原理是用多元高斯逼近截锥，然后在高斯内坐标的位置编码上计算（封闭形式）积分 E[γ(x)]。

1. 解决伪影：mipmap表示一组不同离散下采样尺度下的信号(通常是图像或纹理映射)，并根据像素足迹投影到该射线相交的几何图形上选择适当的尺度用于射线。这种策略被称为预过滤，因为抗锯齿的计算负担从渲染时间(如暴力超采样解决方案)转移到预计算阶段——mipmap只需要为给定的纹理创建一次，而不管纹理渲染的次数如何。
2. mip-NeRF(multum in parvo NeRF)，扩展了 NeRF 以同时表示连续尺度空间的预过滤辐射场。mip-NeRF 的输入是一个 3D 高斯，它表示应该集成辐射场的区域。
3. Integrated positional encoding(IPE) 集成位置编码。 作用：特征表示，这是 NeRF 的位置编码 (PE) 的推广，它允许将空间区域紧凑地特征化，而不是空间中的单个点。

IPE特征作为输入传递给MLP以产生密度 \(τ_k\) 和颜色 \(c_k\) ，如公式1所示。mip-NeRF中的渲染遵循公式2。 \[ ∀t_k ∈ t, [τ_k, c_k] = MLP(γ(r(t_k)); Θ) \]

\[ \begin{array}{c} \mathbf{C}(\mathbf{r} ; \Theta, \mathrm{t})=\sum_{k} T_{k}\left(1-\exp \left(-\tau_{k}\left(t_{k+1}-t_{k}\right)\right)\right) \mathbf{c}_{k}, \\ \text { with } \quad T_{k}=\exp \left(-\sum_{k^{\prime}<k} \tau_{k^{\prime}}\left(t_{k^{\prime}+1}-t_{k^{\prime}}\right)\right), \end{array} \]

4. Mip-NeRF的特点：Mip-NeRF的尺度感知结构还允许我们将NeRF用于分层采样的独立“粗”和“细”MLP合并为一个MLP。因此，mip-NeRF 略快于 NeRF（~7%），参数数量减半。

5. Mip-NeRF通过从每个像素投射一个椎体改善混叠的问题。