CA翻译~

1.介绍

电影级解剖学 (Cinematic Anatomy, CA) 是一款沉浸式解剖学学习应用，旨在通过使用路径追踪 [CEGM16] 实现照片级真实感的 3D 渲染，以改进解剖学教育。它并非使用真实的 3D 解剖模型，而是利用医疗扫描设备提供的体积数据。该应用用于解剖学教育领域，例如在 JKU medSPACE [JKU]（一个用于解剖学教学的讲演空间）中使用。它用于教授多样且复杂的个体人体解剖结构、解剖变异和病理学，通过真实患者数据的沉浸式照片级真实感 3D 可视化来增强学习者的能力。多项研究已证明使用临床体积数据进行照片级真实感体积渲染在解剖学教学和理解方面的益处 [GES∗18, BKE∗19, SWS∗22]。

除了用于集体面授的立体投影模式外，学生还需要在他们的移动设备上运行 CA 以获得个性化学习体验。然而，除了在此类设备上显著的性能损失外，所创建内容的可移植性常常受到数据大小的限制，尤其是在使用来自高分辨率成像模态（如光子计数 CT、7 特斯拉 MRI 和相位对比 CT [WTW∗21]）的数据时。因此，CA 主要用于面授教学场景，其中演示者使用强大的 GPU 并能高速访问存储数据集的超大容量存储设备。如图 1 所示，即便如此，也难以以交互速率渲染数据。

我们证明了可微分的 3DGS [KKLD23] 能够解决 CA 的局限性。3DGS 从场景的图像中重建出 3D 高斯场景表示。高斯表示可以从任意视角高速渲染，避免了耗时的路径追踪。结合压缩的 3DGS [NSW24]，高斯表示的内存消耗显著降低，并且借助 GPU 光栅化，3D 高斯溅射即使在移动设备上也能高效运行。图 1 使用一个高分辨率 CT 扫描数据展示了这些特性。

贡献： 为了将压缩的 3DGS 用于 CA，我们提出了一个处理流程，包含以下改进：

我们扩展了 Kopanas 和 Drettakis [KD23] 提出的用于体积渲染的视角选择方法，使其能自动找到一组在当前传递函数设置下捕获所有潜在可见结构的相机。

我们扩展了 3DGS，使其支持可微分的 Alpha 通道渲染，以创建无背景的重建结果，并显著改善半透明物质的重建质量。

我们使用多个高分辨率数据集分析了其质量、性能和内存需求。训练图像使用一个公开可用的 CA 工具渲染。结果表明，其内存需求显著低于初始数据大小。由于可渲染表示非常小，学生可以通过低带宽通道快速下载并在其移动设备上渲染。渲染性能比优化的路径追踪快约两个数量级，且图像质量几乎无可察觉的损失。

局限性： 将 3DGS 用于 CA 存在以下局限性：首先，光照条件被烘焙到 3D 高斯表示中，在渲染时无法更改。其次，由于使用了预设的传递函数和裁剪平面，该方法在支持交互式体积探索方面效果较差。克服这些局限性是困难的，我们在工作结束时讨论了可能的改进策略。

内容总结：

该段落介绍了 “电影级解剖学”(Cinematic Anatomy, CA) 应用及其面临的挑战，并提出并验证了使用压缩版可微分 3D 高斯溅射 (3DGS) 作为解决方案。核心要点如下：

CA 应用概述：

目标：通过照片级真实感的路径追踪渲染提升解剖学教育。

数据源：医疗扫描设备提供的体积数据（非实体模型）。

应用场景：教授复杂解剖结构、变异和病理（如 JKU medSPACE），提供沉浸式真实患者数据可视化。

价值：研究证明其对教学有益。

CA 的挑战：

移动端需求： 学生需要在个人移动设备上使用以进行个性化学习。

性能与数据瓶颈：

移动设备性能不足。

高分辨率医学影像数据（光子计数 CT、7T MRI 等）体积庞大，限制了内容的可移植性。

当前使用模式： 主要依赖高端硬件（强大 GPU + 大存储）在面授场景下运行，即使如此，交互式渲染速率也难以达到 (Fig. 1)。

提出的解决方案：可微分 & 压缩 3DGS

核心思路： 使用 3DGS [KKLD23] 从 CA 渲染的图像中重建场景的 3D 高斯表示。

优势：

高速渲染： 避免路径追踪，支持任意视角高速渲染。

内存优化： 结合压缩技术 [NSW24]，显著降低内存占用。

移动友好： GPU 光栅化使其能在移动设备高效运行 (Fig. 1 示例)。

关键贡献（改进）：

自动化相机选择： 扩展 [KD23] 方法，根据当前传递函数自动选择能覆盖所有可见结构的相机视角。

改进渲染质量： 扩展 3DGS 支持可微分 Alpha 通道渲染，实现无背景重建并大幅提升半透明物质的重建质量。

验证结果：

使用高分辨率数据集和公开 CA 工具生成训练图像进行评估。

内存： 远小于原始数据，学生可通过低带宽快速下载。

性能： 渲染速度比优化路径追踪快约 100 倍。

质量： 图像质量损失几乎不可察觉。

局限性：

光照固定： 光照烘焙进高斯表示，渲染时无法动态改变。

交互探索受限： 依赖预设传递函数和裁剪平面，支持交互式体积探索效果较差。

解决难度： 承认这些局限难以克服，文末会讨论改进策略。

2.相关工作

3D高斯溅射（3DGS）[KKLD23] 建立在椭圆加权平均（EWA）体积溅射 [ZPVBG01] 的基础上，以高效计算3D高斯核投影到2D图像平面上的过程。此外，用于建模场景的高斯核的数量和参数通过可微分渲染进行优化。MipSplatting [YCH∗23] 通过集成抗锯齿（包括3D平滑和2D Mip滤波器）改进了3DGS。它在高斯表示未经优化的尺度上实现了更优的新视角合成质量。

一些方法同时提出将3DGS生成的3D高斯表示转换为更紧凑的形式 [NSW24, LRS∗24]。对于典型场景，3DGS的内存需求低于50 MB，且在重建图像上无明显差异。3DGS在新视角合成方面，特别克服了基于体素的方法 [MST∗20, FKYT∗22] 处理稀疏性的困难。尽管自适应哈希网格 [MESK22]、张量分解 [CXG∗22] 或使用专用压缩方案的变体 [LSW∗23, RLN∗23] 可以有效减少所需内存，但它们使用体积光线投射（volume ray-casting），因此需要高端GPU才能达到合理的渲染性能。

同样的限制也存在于可微分体积渲染 [WW22] 中，其思想与3DGS类似，使用基于图像的损失函数在密集体素网格上优化光学属性。3DGS利用由该场景的体积路径追踪 [PJH23, NSJ14, NGHJ18, NDSRJ20] 生成的光真实感图像，优化该场景的3D表示。先前已有多种方法尝试通过图像去噪 [HMES20, JLM∗23, IGMM22]、光子映射 [YYS∗23]、光照缓存 [vLMB23] 和自适应时间采样 [MHK∗19] 来提高路径追踪的性能。尽管这些方法在高画质下实现了显著的性能提升，但它们都需要一个拥有巨大内存资源（以承载高分辨率数据集）和强大计算能力（以对此类数据执行光线追踪）的渲染系统。可以说，目前在家用级硬件上实现高质量路径追踪是不可能的。

原则上，场景表示网络（SRNs）[MON∗19, CZ19, PFS∗19] 可以解决内存需求问题，SRN即学习将表面模型编码为隐式3D函数的全连接神经网络。Lu等人 [LJLB21] 展示了SRNs在体积数据压缩中的应用，通过将网络过拟合到一个体积数据集。然而，这种方法以牺牲后续渲染过程中的网络评估为代价，这使得即使是GPU友好的光线步进（ray-marching）实现 [WHW22] 也比3DGS慢得多。

新视角合成中的一个挑战性问题是找到尽可能小的相机位姿集合来生成训练和测试图像。请注意，此问题不同于可视化中的视点优化问题，后者优化可视化参数以找到单个最佳视点，例如使用基于熵 [JS06, VMN08, TLB∗09, CJ10, WHW22] 或基于相似性 [TWC∗16, YLLY19] 的损失函数来指导优化器。对于SRNs，Kopanas和Drettakis [KD23] 引入了一种算法来自动优化相机放置位置，以实现对场景的更好覆盖。我们改编此算法以适用于体积数据集。

内容总结：

该段落主要围绕 3D高斯溅射（3DGS）及其相关技术 展开讨论，重点在于新视角合成和体积渲染的效率与内存优化，并与替代方案进行对比。核心要点如下：

3DGS的核心技术：

基于EWA体积溅射，高效投影3D高斯核到2D平面。

使用可微分渲染优化场景表示中高斯核的数量和参数。

典型场景下内存占用低（<50MB），无明显画质损失。

有效克服了体素方法在稀疏场景处理上的困难。

3DGS的改进：

MipSplatting： 集成了抗锯齿（3D平滑+2D Mip滤波），提升了在未经优化尺度下的新视角质量。

压缩研究： 有研究致力于将3DGS生成的高斯表示转换为更紧凑的形式。

与替代渲染技术的对比（突出3DGS优势）：

基于体素/网格的方法： （如自适应哈希网格、张量分解、压缩变体、可微分体积渲染）

虽然能有效压缩内存，但依赖体积光线投射（volume ray-casting）。

需要高端GPU才能达到合理渲染性能。

可微分体积渲染优化密集体素网格的计算成本高昂。

高质量路径追踪：

需要巨大内存（存放高分辨率数据集）和巨大算力（执行光线追踪）。

目前无法在家用级硬件上实现。

场景表示网络（SRNs）：

理论上可通过学习隐式函数解决内存问题。

但将网络过拟合到特定数据集后，渲染时的网络评估非常耗时，即使GPU优化的光线步进也比3DGS慢得多。

相关背景：

3DGS优化的输入是体积路径追踪生成的光真实感图像。

路径追踪性能提升技术（去噪、光子映射等）虽有效，但仍需高端硬件。

新视角合成的一个挑战是优化相机位姿选择以获得足够覆盖，这不同于可视化中寻找单一最佳视点的视点优化问题。

有研究（如Kopanas和Drettakis）将SRN的相机位姿优化算法应用于体积数据。

3. 电影级解剖学流程

提出的 CA 流程的不同阶段如图 2 所示。加载数据集后，用户选择一个或多个所谓的“预设”（preset）。一个预设包括传输函数设置、材质分类以及用于揭示特定解剖结构的固定裁剪平面。对于每个预设，会计算多个视图以捕获数据中所有潜在可见的结构（参见第 3.1 节）。通过这种方式，我们在最终的对象表示中恢复了在球面环绕相机位置生成图像时不可见的结构。这些视图被传递给基于物理的渲染器（即体积路径追踪器），该渲染器使用相应的预设为每个视图渲染一幅图像（参见第 3.2 节）。一旦选定预设的图像渲染完成，3DGS 会生成一组具有形状和外观属性的 3D 高斯溅射体（splat），使得它们的渲染结果与给定图像相匹配。通过可微分渲染计算出高斯的参数后，使用敏感度感知矢量量化（sensitivity-aware vector quantization）和熵编码（entropy encoding）对它们进行压缩（参见第 3.3 节）。最终压缩后的 3DGS 表示使用 WebGPU 进行渲染，采用 GPU 排序和投影后的 2D 溅射体（splat）光栅化技术，并通过像素着色器在图像空间中对 2D 投影进行评估和混合。我们集成了 Mip-Splatting [YCH∗23] 来处理不同细节层次，并在焦距增加时实现平滑过渡。

3.1 视图选择
新视角合成要求所有可见的场景部分都在训练图像中被覆盖。Kopanas 和 Drettakis [KD23] 提出了一种用于 SRN 的自动相机放置算法，旨在最大化观察频率（observation frequency）和角度均匀性（angular uniformity）。观察频率在 0（没有相机观察到该点）和 1（所有相机都观察到该点）之间。角度均匀性考虑了在球坐标中观察到某点的相机方向二维直方图与均匀分布之间的总变差距离（total variation distance）。该算法迭代处理随机采样的 1000 个相机位姿批次。在每次迭代中，位于被占据空间内或过于接近的相机位姿会被拒绝。从剩余的相机位姿中，选择能带来重建质量最高提升（通过观察频率和角度均匀性衡量）的那个位姿。我们针对体积数据集的 3DGS 对该算法提出了两项修改。首先，我们观察到由于搜索空间的高维度，需要评估大量的相机位姿，且可能错过最优位姿。为避免此问题，我们使用贝叶斯优化采样 (BOS) [Moc89, Gar23] 自适应地将相机放置在更有希望产生改进最大值（称为“利用”，exploitation）的区域或先前探索较少的区域（称为“探索”，exploration）。这样，错过最优相机位姿的几率显著降低，并且需要生成的训练图像也更少。其次，我们不使用二元可见性（binary visibility，仅指示点是否在相机视锥体内），而是使用连续可见性（continuous visibility），该可见性也考虑了（部分）遮挡。在每个体素处，执行 GPU 光线步进（ray marching）来计算最大透射率（transmittance），并将其用作可见性指示器。对于无法装入 GPU 内存的数据集，我们使用较低分辨率的副本来执行此步骤。
BOS 应用概率（通常是高斯）代理模型（surrogate model）和采集函数（acquisition function）。前者表达了基于先前评估得出的关于目标函数输出的贝叶斯信念，后者用于选择下一组参数来评估目标函数。对于采集函数，使用上置信界（upper confidence bound）[BCdF10]，参数 κ = 10，该参数控制“利用”和“探索”之间的权衡。该值是凭经验确定的，在所有测试数据集上效果良好，但也可以通过超参数优化进行调整（针对 [KD23] 的能量项或相对于训练集中图像的重建质量）。我们利用公开可用的软件库 Limbo [CCAM18] 来执行优化过程。在图 3 中，我们展示了使用 BOS 进行自动视图选择以改进捕获凹形 2D 测试数据集内部结构的能力。当在物体周围的半球上随机采样相机时，内部结构会被遗漏。当在半球上仅采样少量相机时，BOS 会选择少量额外的相机位姿，这些位姿捕获外部未被充分观察到的结构和内部尚未捕获的结构。我们在第 4.3 节中展示了使用 3DGS 在重建质量上带来的改进。我们还在补充材料中进一步比较了 BOS 和随机采样 [KD23] 的收敛速度和性能。

3.2 图像生成
我们使用蒙特卡洛体积路径追踪（Monte Carlo volume path tracing）从多个视角渲染体积数据，以生成一组训练图像。使用增量追踪 (Delta tracking) [WMHL65] 来确定是散射事件（应用 Henyey-Greenstein 相位函数 [HG41] 确定下一个光线方向）、吸收事件（路径终止，发射颜色被视为路径贡献）还是零碰撞（null collision，路径保持不变继续传播）。当密度梯度幅度超过用户指定的等值（iso-value）时，假设发生表面相交（surface intersection）。然后通过为表面生成反射事件来模拟全局光照，新的光线方向根据所选反射分布函数的概率密度函数按比例采样。此过程重复进行，直到光线离开体积域或发生吸收事件为止。使用高动态范围光图（high dynamic range light maps）从环境中查找光照信息。使用下一事件估计（next event estimation）来对朝向光源的光线进行重要性采样（importance-sample），从而潜在地降低渲染图像的方差（variance）。所有蒙特卡洛样本在浮点累积缓冲区（accumulation buffer）中累积和平均。一个色调映射（tone-mapping）通道将累积结果映射到最终的较低动态范围输出缓冲区。为了快速生成图像，我们应用了性能优化方法，例如空域跳跃（empty-space skipping，基于传输函数预设）和内存相干散射（memory coherent scattering）。后一种优化确保相邻像素的光线向同一方向散射，从而优化缓存利用率。

3.3 压缩可微分 3D 高斯溅射
可微分 3DGS 通过一组 3D 高斯函数 G(x) = αe^{-1/2 x^T Σ^{-1} x} (1) 描述一个对象。每个高斯函数以 x ∈ R^3 为中心，协方差矩阵 Σ ∈ R^{3×3} 描述其方向和形状。一个高斯函数具有不透明度 α ∈ [0, 1]，以及由一组球谐函数 (SH) 系数表示的视角相关颜色（view-dependent color）。3D 高斯函数的 2D 投影是一个 2D 高斯函数，其协方差源自视图变换矩阵和投影变换的仿射近似的雅可比矩阵（Jacobian）。场景的渲染过程是将所有高斯函数按排序顺序投影到图像平面并混合它们的贡献。
虽然 Zwicker 等人 [ZPVBG01] 通过一组 3D 高斯函数对 3D 标量场进行建模，使得该场能够被充分良好地重建，但 Kerbl 等人 [KKLD23] 优化了每个 3D 高斯函数的位置、形状、不透明度和 SH 系数，使得它们的渲染结果与对象的一组初始图像相匹配。优化通过可微分渲染进行，考虑 3D 高斯参数变化导致的像素颜色变化。优化过程会移除一些初始选择的 3D 高斯函数（如果它们没有贡献），自适应地分裂高斯函数，并修改它们的形状和外观属性，以最小化基于图像的损失函数。
为了进一步降低 3DGS 的内存消耗，我们利用 Niedermayr 等人 [NSW24] 提出的压缩方法。它通过敏感度感知矢量量化将 SH 系数和高斯形状参数编码为紧凑的码本（codebooks），然后在训练图像上对参数进行微调（fine-tune）。使用量化感知训练（Quantization-aware training）[RORF16] 以更少的比特表示场景参数。我们将此策略称为高压缩率压缩 (HR-compression)。我们还提供了一种选项，仅使用量化感知训练在优化过程中将所有场景参数（高斯位置除外）缩减为 8 位表示。我们将此策略称为高质量压缩 (HQ-compression)。由于 CA 要求整个数据集都在焦点上，我们可以省略通常为每个高斯存储的缩放因子（该因子用于表示焦点内对象和周围背景的场景）。
Alpha 通道重建： 与仅重建 RGB 颜色的经典新视角合成不同，在体积渲染应用中，还需要重建每像素累积的不透明度（即 alpha），以便在背景上正确混合。因此，我们扩展了 3DGS，允许对带有 alpha 通道的图像进行可微分渲染。我们结合使用每像素 L1 损失和 SSIM 损失来准确重建体积渲染训练图像的 alpha 通道。如第 4.4 节所示，通过这种方式可以显著提高重建质量。

内容总结：

该章节详细阐述了将压缩可微分 3D 高斯溅射 (3DGS) 应用于 电影级解剖学 (CA) 的完整技术流程，包含三个核心阶段，并介绍了关键创新点。

整体流程 (Fig. 2):

输入: 加载体积数据集。

预设选择: 用户选择预设（传输函数、材质、裁剪平面组合）。

视图选择 (3.1): 针对每个预设，自动计算一组能覆盖所有潜在可见结构（包括内部结构）的最佳相机视图。

图像生成 (3.2): 使用基于物理的蒙特卡洛体积路径追踪器，根据预设为每个选定的视图渲染训练图像（包含优化如空域跳跃、内存相干散射）。

3DGS 优化与压缩 (3.3): 利用可微分渲染，根据生成的图像优化 3D 高斯的位置、形状、不透明度和颜色（SH系数），并应用压缩技术（敏感度感知矢量量化+熵编码）显著减少内存占用。扩展支持 Alpha 通道重建（使用 L1 + SSIM 损失）。

渲染: 最终压缩的 3DGS 表示通过 WebGPU 使用 GPU 排序和光栅化高效渲染，集成 Mip-Splatting 处理细节层次和变焦平滑度。

关键创新点/改进:

视图选择 (3.1):

核心问题: 确保训练视图覆盖所有潜在可见结构（尤其内部凹结构）。

改进 1 (算法效率/质量): 引入 贝叶斯优化采样 (BOS) 替代随机采样。BOS 自适应平衡“利用”（已知好区域）和“探索”（新区域），显著减少所需评估的相机位姿数量，降低错过最优位姿的风险。

改进 2 (体数据适应性): 使用 连续可见性（基于 GPU 光线步进计算的最大透射率）替代二元可见性，有效处理遮挡。

结果: 更少的训练图像，更好地捕获内部和外部结构（Fig. 3 示例），提升最终重建质量。

图像生成 (3.2):

方法: 使用物理准确的蒙特卡洛体积路径追踪，包含 Delta tracking 处理光传输事件、表面相交检测、全局光照（反射）、环境光照（HDR光图）、重要性采样（下一事件估计）等。

优化: 实施空域跳跃（跳过空区域）和内存相干散射（优化缓存利用）以加速渲染。

3DGS 优化与压缩 (3.3):

基础: 优化高斯参数（位置、协方差Σ、不透明度α、SH系数）以匹配路径追踪生成的训练图像。

压缩方案:

HR-压缩: 使用 Niedermayr 等人的方法，通过敏感度感知矢量量化将 SH 系数和形状参数编码为紧凑码本，再进行熵编码和微调。内存压缩率最高。

HQ-压缩: 仅使用量化感知训练将除位置外的所有参数压缩到 8 位。侧重保持高质量。

优化: 针对 CA 全场景聚焦的特点，省略了高斯缩放因子。

Alpha 通道重建 (重要扩展): 扩展 3DGS 支持可微分渲染 Alpha 通道。使用 L1 + SSIM 损失组合优化不透明度重建，显著提升半透明材质和正确背景混合的重建质量。

总结核心流程与贡献：

该流程的核心是将高保真但计算昂贵的体积路径追踪与高效、可压缩的 3DGS 表示相结合。关键贡献在于：

自动化与优化： 通过改进的 BOS 视图选择算法（解决覆盖问题，尤其内部结构）和路径追踪器的性能优化，自动化地生成高质量的训练数据。

高效压缩表示： 应用先进的 3DGS 压缩技术 (HR/HQ)，将庞大的原始体积数据或路径追踪中间结果转化为内存占用极小的高斯表示。

质量提升： 扩展 3DGS 支持 Alpha 通道重建（使用特定损失函数），解决了体积渲染中正确重建不透明度的关键需求，显著提升了半透明结构等重建质量。

移动端部署： 最终流程输出高度压缩的 3DGS 表示，可通过 WebGPU 在包括移动设备在内的硬件上实现高速、高质量渲染（集成 Mip-Splatting 抗锯齿），完美契合 CA 的移动学习需求。

4. 结果与评估

我们使用多种展示不同解剖结构的高分辨率医学数据集，分析了所提出的 CA 流程的性能、内存消耗和重建质量。我们的 3DGS 实现是基于 Kerbl 等人 [KKLD23] 提供的代码修改而来。对于压缩和渲染，我们使用 Niedermayr 等人 [NSW24] 描述的设置。

4.1 数据集

肾脏 (Kidney): 分层相衬断层扫描 (HiP-CT) 数据，在欧洲同步辐射装置 (ESRF) 的 Human Organ Atlas 项目 [WTW∗21] 背景下采集。数据来自光束线 5，是遗体捐献者 LADAF-2020-27 的完整左肾扫描，下采样至 50.16 μm 分辨率（尺寸 1510 × 1706 × 1415 体素），并量化为 8 位精度。

大脑 (Brain): HiP-CT 扫描数据，来自光束线 18，是遗体捐献者 LADAF-2021-17 的完整大脑扫描，为渲染下采样至 46.84 μm 分辨率（尺寸 3224 × 3224 × 3585 体素），并量化为 8 位精度。肾脏数据集是公开可用的，而大脑数据尚未发布。

身体 (Body): 人体 CT 血管造影扫描，分辨率 317 × 317 × 835，来自 Wasserthal [Was23] 的收藏集，图像 ID s0287。该数据集包含一些在定向光照下表现出显著差异的半透明材质。我们在复杂光照条件下渲染它以挑战 3DGS 的重建能力。
我们在图 4 中展示了所有数据集，并提供了一个交互式在线演示：https://anonymous-demo-user.github.io/cinematic-3dgs/。对于每个数据集，使用了一到三个预设，包括分割、传输函数和光照条件。3DGS 优化是在 2048 × 2048 分辨率的训练图像上进行的。

4.2 预处理
在配备足够 RAM 的 GPU 上，可以使用公开可用的 CA 软件包生成所有数据集的初始图像，并使用内置的动画系统生成视图。我们使用了一个提供批处理渲染支持的研究版本，在 NVIDIA A100 GPU 上运行处理大脑数据，在 NVIDIA RTX A5000 上运行处理肾脏和身体数据。
表 1 显示了各数据集的大小（GB）与使用 HR-压缩后的最终高斯表示大小（MB）的对比（Size 列）。Views 列显示了用于可微分高斯溅射优化的训练图像数量。Time 列显示了通过路径追踪渲染初始图像所需的时间，以及生成压缩高斯表示所需的计算时间。请注意，后者 90% 的时间用于优化生成 3D 高斯表示，只有约 10% 的时间用于压缩。Gaussians 列给出了最终表示中 3D 高斯的数量。
如 Size 列所示，压缩后的高斯表示非常小，可以通过低带宽通道下载，并在配备中端甚至低端 GPU 的移动设备上渲染。

4.3 视图选择
使用身体 (Body) 数据集演示了自动视图选择，该数据集包含大量从围绕体积的椭球体上放置的相机无法看到的内部结构。作为基线，我们使用椭球体上随机放置的 256 个相机渲染的图像重建体积。为了比较，我们将这个数量减少到 128 个，并使用提出的视图选择算法生成了额外的 128 个相机（见图 5）。可以看出，对于随机相机选择未能看到的部分，整体重建质量得到了改善。

4.4 质量评估
图 6 将 3DGS 优化期间未见过的测试图像与使用 HQ-压缩和 HR-压缩的 3DGS 渲染的图像进行了比较。特写视图显示，路径追踪图像与通过 HR-压缩 3DGS 生成的图像之间只有细微的色差。
HQ-压缩导致内存占用增加三倍，但图像质量的差异进一步减小，小到肉眼几乎无法察觉。值得注意的是，当可微分 3DGS 仅针对 RGB 颜色进行优化时，重建质量会显著下降（见图 7 示例）。扩展 3DGS 使其在优化过程中也考虑不透明度（alpha），极大地提高了重建质量，并消除了由背景引起的伪影。
表 2 显示了测试图像与使用 HR-压缩 3DGS 渲染的新视角之间的平均 SSIM 和 PSNR（结构相似性和峰值信噪比），该值是所有预设的平均值。对于 PSNR 和 SSIM，只考虑在渲染图像和真实图像中非空（alpha > 0）的像素。PSNR (Alpha) 衡量了渲染图像和真实图像之间 alpha 通道的 PSNR。
我们进一步探讨了 3DGS 重建数据集中半透明区域的能力。使用一个预设处理身体 (Body) 数据，使数据集中的某些组织类型变为半透明（见图 8）。虽然整体上新视角与测试图像匹配得相当好，但特写视图显示一些精细细节未被准确重建，特别是半透明结构被模糊化了。这种效应随着深度复杂性（depth complexity）的增加而加剧，因为 3DGS 越来越难以准确表示所有可能的颜色和不透明度分布。
当使用一个具有环境贴图强烈定向光照的预设时，可以观察到一些高频光照变化，尤其是在体积区域。这使得 3DGS 更难以准确恢复组织结构。有趣的是，图 9 表明重建效果非常好，没有显示出任何严重的重建伪影。同时，半透明区域在一定程度上再次被模糊化。我们认为 3DGS 在处理特定设置时尤其存在问题，即视角光线穿过半透明但非均匀的区域并累积物质很长的距离。在这种情况下，相机位姿的细微变化可能导致每像素累积颜色和不透明度的强烈变化。因此，3DGS 需要优化显著增加的参数数量，需要更多的高斯来准确表示数据。

4.5 渲染性能
使用 Niedermayr 等人 [NSW24] 的 WebGPU 实现进行性能测试。它使得压缩 3DGS 的渲染速度比 Kerbl 等人 [KKLD23] 的渲染器快达 4 倍，并且可以在现代浏览器中运行。
表 3 显示，即使在集成 GPU (iGPU) 上，对于最大的数据集大脑 (Brain)，渲染时间也高于每秒 10 帧。在当前的中高端 GPU 上，所有数据集都可以达到每秒 60 帧。这使得 CA 流程对于需要立体渲染的应用特别有吸引力。虽然低内存消耗有利于在移动设备（例如移动 AR 应用）上进行高效渲染，但高渲染性能对于以足够的帧率渲染两幅图像（左眼和右眼各一幅）是必需的。在一个补充视频中，我们展示了在配备高通 Adreno 740 GPU 的移动设备上，渲染性能大约为每秒 5 到 20 帧。

内容总结：

本章节通过多个高分辨率医学数据集（肾脏、大脑、身体）对提出的 CA 流程（基于压缩可微分 3DGS）进行了全面的实证评估，重点在内存消耗、重建质量和渲染性能三个方面。

数据集与预处理 (4.1 & 4.2):

使用了 HiP-CT（肾脏、大脑）和 CT 血管造影（身体）等真实临床高分辨率数据集（GB级）。

使用基于物理的路径追踪器在高端 GPU (A100, A5000) 上为每个预设生成训练图像（分辨率 2048×2048）。

核心压缩成果 (表 1): 应用 HR-压缩后，3DGS 表示大小从原始数据的 GB 级降至 MB 级（例如，最大的大脑数据集压缩后仅为 MB 级）。这使得通过低带宽网络下载并在移动设备上渲染成为可能。

优化生成高斯表示是计算的主要瓶颈（占压缩流程时间的 90%）。

视图选择验证 (4.3):

在身体数据集上验证了提出的 BOS 视图选择算法。

相比仅使用 256 个随机椭球视图，使用 128 随机 + 128 BOS 优化视图，显著改善了内部和外部未被充分观察结构的重建质量（图 5）。

重建质量评估 (4.4):

压缩模式对比 (图 6):

HR-压缩: 与路径追踪参考图相比，仅有细微色差，质量损失极小。

HQ-压缩: 内存占用是 HR 的 3 倍，但图像质量差异进一步缩小到肉眼几乎无法察觉。

Alpha 通道重建的重要性 (图 7, 表 2):

仅优化 RGB 会导致显著质量损失和伪影。

优化 Alpha 通道（使用 L1+SSIM 损失）极大地提高了质量并消除了背景伪影。

半透明区域重建的挑战 (图 8 & 9):

3DGS 在重建半透明材质和具有高深度复杂性（光线穿过长距离非均匀半透明物质）的区域时存在困难，表现为精细细节丢失和模糊化。

虽然整体重建效果良好（图 9），但半透明区域仍是瓶颈。解决此问题需要更多的高斯和参数优化。

定量指标 (表 2): 使用 SSIM 和 PSNR（包括 Alpha 通道 PSNR）量化了 HR-压缩 3DGS 渲染的新视角与测试图像（未参与训练）的相似度，结果良好。

渲染性能评估 (4.5):

使用 WebGPU 实现进行渲染（基于 [NSW24] 的优化实现）。

性能优势显著:

比原始 3DGS 渲染器 [KKLD23] 快 4 倍。

集成 GPU (iGPU): 即使处理最大的大脑数据集，也能达到 >10 FPS。

中高端 GPU: 所有数据集均可达到 60 FPS，满足流畅交互需求。

移动端性能 (补充视频): 在高通 Adreno 740 GPU 的移动设备上，达到 5-20 FPS。这证明了该方案在移动 AR 和立体渲染（需左右眼两幅图像）应用中的潜力，虽然流畅度尚有提升空间。

总结核心结论：

内存效率革命性提升： 通过 HR/HQ 压缩，成功将GB 级医学体积数据压缩为MB 级的 3DGS 表示，解决了移动端存储和传输瓶颈。

渲染性能卓越： 基于 WebGPU 的优化渲染器实现了实时或准实时性能（桌面端 60 FPS，移动端 5-20 FPS），远超计算昂贵的路径追踪。

重建质量整体优异：

HQ/HR 压缩下，与路径追踪参考图的差异极小至肉眼不可察。

Alpha 通道优化是质量关键，显著优于仅优化 RGB。

量化指标 (SSIM, PSNR) 证实了高质量。

验证技术创新：

BOS 视图选择算法有效提升了视图覆盖率和重建质量。

流程自动化，可处理真实临床数据。

现存挑战： 半透明区域和高深度复杂性场景的重建仍是主要挑战，会导致细节丢失和模糊化，需要更多高斯表示。

实用价值突出： 该方案使高质量、交互式的医学可视化（CA）在网页端和移动设备（包括 AR）上部署成为现实，克服了传统体积渲染对高端硬件的依赖。

5. 讨论与展望

我们的实验表明，通过限定于静态预设（static presets），压缩的 3DGS 能够实现超大数据的交互式电影级解剖学（CA）。我们认为这种限制对于教育用途是可接受的，因为通常只选择少数几个预设。由于压缩 3DGS 的内存需求极低，可以为每个预设单独计算一个高斯表示。在所有实验中，我们使用相对于物体不变的环境贴图模拟了静态光照条件。因此，物体在每个视角下都处于相同的照明条件下，导致在切换相机位姿时产生相当平滑的光照效果。然而，当使用头灯式光照（headlight）（光源随相机移动）时情况就不同了，此时点的光照会随相机位姿变化而变化（见图 10）。值得注意的是，虽然在这种情况下大部分区域能被 3DGS 很好地解析，但在其他一些区域，新视角会显示出重建伪影。3DGS 难以很好地捕捉这种在每张图像光照都变化的照明条件下反射光的剧烈变化。我们认为解决此限制的一种方法是重光照（re-lighting）。通过生成包含光学材质属性（而非光照）的训练图像，或许可以在运行时更好地恢复高度变化的光照条件。

体积探索的一个有用组件是交互式裁剪平面（interactive clip plane），它使得先前不可见的物体点变得可见。包含裁剪平面的一种可能方式是将平面移动限制在离散的步长上，并为每一步计算一个单独的高斯表示。虽然这会显著增加内存需求，但我们相信通过利用空间连贯性（spatial coherence） 并逐步编码在后续步骤中出现和消失的 3D 高斯，可以获得相当紧凑的表示。

6. 结论

我们已经证明了可微分 3DGS 在从高分辨率医学数据集的路径追踪图像进行新视角合成中的应用。我们表明，3D 高斯表示可以被压缩到在图像质量几乎无损的情况下，其大小足以支持在移动设备上下载和存储。高斯表示需要为每个选定的预设重新生成，但即使对于许多预设，其总内存消耗也显著低于原始数据集所需的内存。在渲染时可以避免计算昂贵的路径追踪，从而能在中端甚至低端设备上实现快速显示。

我们也指出了 3DGS 在 CA 应用中的当前局限性。我们认为最重要的两点是：目前缺乏对交互式裁剪平面的支持，以及在使用头灯式光照时出现的质量下降。我们勾勒了解决这些限制的未来研究方向，并相信可以实现改进。

处理时变数据集（time-varying data sets）的需求也日益迫切，因为越来越多的扫描技术能够精确测量血流和变形组织。为交互式可视化此类动态过程量身定制 3DGS 是另一个重要目标。

最后，我们想指出，除了 CA 之外，原位可视化（in-situ visualization） 是 3DGS 另一个有前景的应用场景。对于在超级计算机上模拟、数据量过大而无法流式传输的数据集，可以直接在超算上生成数据集的图像，然后流式传输到执行新视角合成的系统。通过使用先进的 3DGS 优化实现，甚至可能达到支持探索性视觉分析的速率。

内容总结与核心要点：

核心优势验证：

成功应用： 压缩 3DGS 能有效驱动超大医学数据集的交互式 CA 应用。

内存效率极高： 压缩表示极小，允许为每个预设单独存储，总内存仍远低于原始数据。

性能卓越： 规避了路径追踪，实现中低端设备上的快速渲染。

教育场景适配性： 静态预设的限制对教育应用（预设数量少）是可接受的妥协。

当前局限性与挑战：

光照动态性：

静态光照 (环境贴图)： 效果良好，视角切换光照平滑。

头灯式光照 (随视角移动)： 导致部分区域出现重建伪影。核心问题是 3DGS 难以捕捉每图光照剧烈变化下的强反射变化。

交互探索缺失： 缺乏对交互式裁剪平面的原生支持。文中提出的离散步长方案会显著增加存储需求。

动态数据支持： 当前方案不支持时变数据（如血流、组织变形）。