18884710760
技術(shù)文章
摘要：
有了可攜帶LiDAR強(qiáng)度的3DGS，為何仍需OpenMATERIAL標(biāo)準(zhǔn)化材質(zhì)體系？
本文明確兩者層級差異與核心定位，拆解OpenMATERIAL標(biāo)準(zhǔn)與aiSimArcher實(shí)踐，梳理融合路徑，厘清3DGS能力邊界與仿真技術(shù)發(fā)展方向。
關(guān)鍵詞：3DGS、仿真、LIDAR、場景重建、渲染、汽車、OpenMATERIAL
3DGS（3D Gaussian Splatting）的出現(xiàn)重塑了場景重建工作流，通過采集的相機(jī)與 LiDAR 數(shù)據(jù)，可直接重建出視覺質(zhì)量接近手工建模的高保真場景，無需美術(shù)師逐資產(chǎn)打磨材質(zhì)貼圖。
康謀世界提取工具鏈在此基礎(chǔ)上更進(jìn)一步：通過 NeRF 教師 + 3DGS 學(xué)生的兩階段訓(xùn)練，每個 Gaussian 不僅攜帶顏色，還承載 LiDAR 強(qiáng)度特征和語義標(biāo)簽，可同時驅(qū)動相機(jī)仿真（光柵化后端）和 LiDAR 仿真（光線追蹤后端），支持 ≥100,000 m2 的大規(guī)模場景重建。
由此引出核心疑問：在已有能攜帶 LiDAR 強(qiáng)度的 3DGS 之后，是否還需要為每個資產(chǎn)單獨(dú)維護(hù) 3D 資產(chǎn)或 .xoma 文件？
本文核心結(jié)論先行：兩者不在同一層級，并非替代關(guān)系。3DGS 解決的是“如何高效表示和渲染場景"，而 OpenMATERIAL 解決的是“如何標(biāo)準(zhǔn)化描述物理材質(zhì)屬性"。具體分析見下文：
glTF、FBX、USD 在視覺渲染方面已經(jīng)成熟，但它們描述的只是視覺材質(zhì)：顏色、法線貼圖、粗糙度貼圖。這些參數(shù)對渲染引擎足夠，對傳感器仿真則不夠。
具體后果：
LiDAR 仿真：濕瀝青與干混凝土的 LiDAR 回波強(qiáng)度有顯著差異（表面粗糙度、水膜光學(xué)性質(zhì)不同），傳統(tǒng)格式無法描述這種差異；
毫米波雷達(dá)仿真：金屬與塑料的雷達(dá)截面積（RCS）差別可達(dá) 10–20 dB，但 glTF 材質(zhì)的 metallic 參數(shù)針對光學(xué)渲染設(shè)計(jì)，無法映射為電磁仿真所需的介電常數(shù)。
這是傳統(tǒng)格式的結(jié)構(gòu)性缺失，不是工程實(shí)現(xiàn)問題。
模型組成
ASAM OpenMATERIAL 3D 1.0.0 標(biāo)準(zhǔn)（2025 年 4 月 3 日發(fā)布，52 名參與者，21 家公司，9 個國家）按傳感器類型組織參數(shù)：
相機(jī)仿真：波長相關(guān)復(fù)折射率查找表（n'、κ）、BRDF 查找表（.xompt 格式，角度 × 波長二維插值）
夜晚效果下aiSim渲染效果
LiDAR 仿真：BRDF 查找表、表面粗糙度 RMS（surfaceHeightRms，單位米）、相關(guān)長度（surfaceCorrelationLength）
毫米波雷達(dá)仿真：復(fù)相對介電常數(shù) ε?、復(fù)相對磁導(dǎo)率 μ?（均為波長 + 溫度 + 濕度相關(guān)查找表）
其中，電磁參數(shù)是 3DGS 無法提供的。從光學(xué)圖像中無法估計(jì)電磁屬性，這是物理上的根本限制，不是算法優(yōu)化問題。
文件層級如下：
.xoma（資產(chǎn)入口，含 UUID、版本、版權(quán)） └── .xomm（材料映射，RGB 值 → 材料名稱） └── .xomp（材料屬性，含粗糙度、密度、發(fā)射率等） ├── *_optical.xompt（光學(xué)屬性：n', κ） ├── *_emp.xompt（電磁屬性：ε?、μ?） └── *_brdf.xompt（BRDF 查找表）
PBR材質(zhì)
aiSimArcher 是 aiSim 對 OpenMATERIAL 1.0.0 標(biāo)準(zhǔn)的參考實(shí)現(xiàn)，采用 MPL-2.0 許可證，其核心價值在于提供了攜帶完整物理描述的標(biāo)準(zhǔn)化資產(chǎn)：
aiSimArcher 模型
幾何參數(shù)：147,586 三角形，101 個網(wǎng)格，188 個節(jié)點(diǎn)；
材質(zhì)體系：11 種 PBR 材質(zhì)（CarPaint、Glass、Rubber 等，含法線貼圖）；
.xoma 元數(shù)據(jù)：包含車輛動力學(xué)參數(shù)（最高速 70 km/h、加速度 12 m/s2）、前后軸參數(shù)（輪徑 0.759 m、軌距 1.64 m）及包圍盒信息。
該模型的優(yōu)勢在于，同一個 .xoma 文件可同時驅(qū)動相機(jī)、LiDAR、雷達(dá)三種仿真，無需在不同工具間重新定義材質(zhì)。
ISO 21448（SOTIF）、UNECE NATM 和 EU AI Act 對仿真可信度有明確要求：虛擬測試場景需要可追溯的物理依據(jù)。OpenMATERIAL 的每個 .xoma 文件包含 UUID、數(shù)據(jù)來源字段和版本控制，支持監(jiān)管機(jī)構(gòu)要求的證據(jù)鏈追溯。
這是神經(jīng)網(wǎng)絡(luò)表示方法結(jié)構(gòu)上無法滿足的——隱式權(quán)重?zé)o法向?qū)彶榉教峁?該漆面 IOR=1.52，來源于 2024 年實(shí)驗(yàn)室測量"這樣的可驗(yàn)證聲明。
康謀世界提取工具鏈采用兩階段訓(xùn)練模式：NeRF 教師模型輸入 RGB、LiDAR 深度圖、LiDAR 強(qiáng)度圖和語義分割，經(jīng) L2 損失監(jiān)督后輸出稠密點(diǎn)云；3DGS 學(xué)生模型用該點(diǎn)云初始化，每個 Gaussian 攜帶顏色（3 階球諧函數(shù) SH）、深度/法線、LiDAR 強(qiáng)度（sigmoid 歸一化標(biāo)量）和語義標(biāo)簽。
兩階段訓(xùn)練流程圖
工具鏈配備雙渲染后端：光柵化后端用于相機(jī)仿真，光線追蹤后端支持 LiDAR 掃描模式仿真，通過 BEV 分塊訓(xùn)練消除大場景邊界偽影，可支持 ≥100,000 m2 的場景規(guī)模。
分塊訓(xùn)練
標(biāo)準(zhǔn) 3DGS 使用 3 階球諧函數(shù)表示每個 Gaussian 的視角相關(guān)顏色：
$$c(\mathbf) = \sum_^ \sum_^ c_ Y_(\mathbf)$$
每個 Gaussian 有 48 個 SH 系數(shù)（16 系數(shù)/通道 × 3 通道）。3 階 SH 是方向輻射的低通濾波器，各階對應(yīng)從各向同性基礎(chǔ)顏色（0 階）到較高頻高光（3 階）的外觀描述。
需要注意的一個關(guān)鍵是，SH 系數(shù)無法被解碼為 IOR、粗糙度、金屬度等物理參數(shù)，它將光照與材質(zhì)混合烘焙（baked），兩者無法分離。這并非工程限制，而是數(shù)學(xué)層面的根本局限——SH 的優(yōu)化目標(biāo)是最小化渲染誤差，而非擴(kuò)大物理可解釋性。
3DGS與OpenMATERAIL對比
維度 | 3DGS（SH 系數(shù)） | OpenMATERIAL |
|---|---|---|
表示本質(zhì) | 外觀（appearance） | 物理參數(shù) |
光照處理 | 烘焙進(jìn)系數(shù)，無法分離 | 顯式分離 |
電磁參數(shù) | 無法提供 | ε?、μ? 查找表 |
跨工具共享 | 無標(biāo)準(zhǔn)格式 | 統(tǒng)一 .xoma/.xomm/.xomp |
認(rèn)證可審計(jì) | 隱式權(quán)重 | 顯式物理參數(shù) |
目前康謀工具鏈將 LiDAR 掃描強(qiáng)度編碼為 Gaussian 的一個維度特征，為 LiDAR 仿真提供支持，但該強(qiáng)度特征是靜態(tài)、視角無關(guān)的標(biāo)量，無法準(zhǔn)確反映真實(shí) LiDAR 傳感器固有的方向依賴性。
該強(qiáng)度特征本質(zhì)是混合信號的數(shù)據(jù)驅(qū)動近似，其表達(dá)式為：
$$\text{LiDAR 強(qiáng)度} = f(\text \times \text \times \text \times \text)$$
它并非解耦后的獨(dú)立材質(zhì)屬性。一種潛在的優(yōu)化路徑是：將 LiDAR 強(qiáng)度與 RGB 聯(lián)合用于逆渲染，顯式估計(jì) albedo 和 roughness，建立物理 LiDAR 著色模型，實(shí)現(xiàn)光照與材質(zhì)的解耦。
LiDAR點(diǎn)云
理解 3DGS 與 OpenMATERIAL 關(guān)系的核心，是明確兩者在架構(gòu)中的分層定位：
五層架構(gòu)圖
aiSim 當(dāng)前三項(xiàng)核心能力的分層定位如下：
康謀世界提取工具鏈（NeRF2GS）：負(fù)責(zé)層1→層2，完成從數(shù)據(jù)采集到場景重建的過程；
康謀 aiSimArcher：對應(yīng)層4，是 OpenMATERIAL 標(biāo)準(zhǔn)的完整標(biāo)準(zhǔn)化實(shí)現(xiàn)；
康謀 UE+GS 插件：負(fù)責(zé)層2→層5，可在 3DGS 場景中插入 OpenMATERIAL 定義的合成資產(chǎn)，實(shí)現(xiàn)統(tǒng)一渲染，直接跨越層3。
插件集成鏈路
其中，UE+GS 插件是當(dāng)前實(shí)用主義的融合路徑，它不試圖從 3DGS 中提取材質(zhì)，而是直接向場景注入攜帶標(biāo)準(zhǔn)化材質(zhì)的合成資產(chǎn)，繞過了層3 的技術(shù)Gap，是目前可落地的工程解決方案。
類比而言，“有了 3DGS 還需要 OpenMATERIAL 嗎"，就如同“有了 JPEG 還需要色彩空間標(biāo)準(zhǔn)嗎"，JPEG 是圖像壓縮編碼方式，色彩空間標(biāo)準(zhǔn)定義顏色的物理含義，兩者層級不同、功能不重疊，缺一不可。
目前 3DGS 與 OpenMATERIAL 的融合主要有兩條路徑，具體差異如下表所示：
技術(shù)融合路徑對比
路徑 A：LiDAR強(qiáng)度編碼/UE+GS 插件 | 路徑 B：GS→材質(zhì)提取→OpenMATERIAL | |
|---|---|---|
狀態(tài) | 已實(shí)現(xiàn) | 研究方向 |
原理 | 3DGS 背景 + OpenMATERIAL 合成資產(chǎn)，統(tǒng)一渲染 | 從重建場景自動提取物理材質(zhì) |
解決的層 | 渲染層（層2→層5） | 材質(zhì)層（層3） |
適用場景 | 真實(shí)背景中測試合成交通參與者 | 完整物理精確仿真管線 |
路徑 B 對應(yīng)的三條技術(shù)路線目前均處于研究階段：
InvRGB+L 路線（ICCV 2025）：LiDAR 強(qiáng)度 + RGB 聯(lián)合逆渲染，顯式估計(jì) albedo/roughness，建立物理 LiDAR 著色模型；是目前材質(zhì)分解深度接近實(shí)用的方向
R3DG 路線（ECCV 2024，Relightable 3D Gaussian）：為每個 Gaussian 分配 Disney BRDF 參數(shù)（albedo、metallic、roughness）+ 法線，支持任意光照重打光；真正的 PBR 參數(shù)分解，可映射到 .xomp 格式，但計(jì)算成本高
GaussianShader + 格式轉(zhuǎn)換（CVPR 2024，PSNR 提升 +1.57 dB）：分離漫反射顏色、鏡面色調(diào)和標(biāo)量粗糙度，通過格式轉(zhuǎn)換映射到 .xomp；參數(shù)不完整，但工程實(shí)現(xiàn)路徑最短
這三條路線均面臨同一個問題：當(dāng)前沒有從 3DGS 場景到 .xomp 文件的完整、可用工具鏈。
本質(zhì)而言，3DGS 及同類 Neural Material Field 方法無法完整替代材質(zhì)與標(biāo)準(zhǔn)，核心原因有三點(diǎn)：
精度：雷達(dá)仿真需要 ε?，神經(jīng)網(wǎng)絡(luò)無法從光學(xué)圖像估計(jì)電磁參數(shù)，近紅外波段的 IOR 也無法從可見光訓(xùn)練數(shù)據(jù)可靠外推
可解釋性：ISO 26262 高 ASIL 等級要求形式化可驗(yàn)證性，隱式權(quán)重?zé)o法提供可審計(jì)的材質(zhì)參數(shù)聲明
互操作性：神經(jīng)材質(zhì)場是工具私有的隱式表示，無法"導(dǎo)出"為跨工具通用的物理參數(shù)表
總結(jié)來看，3DGS 的 SH 系數(shù)專注于描述場景外觀，OpenMATERIAL 的 .xomp 文件專注于描述材質(zhì)物理參數(shù)，兩者優(yōu)化目標(biāo)不同、層級不同，不構(gòu)成替代關(guān)系，反而可形成互補(bǔ)。
而康謀世界提取工具鏈基于混合信號的數(shù)據(jù)驅(qū)動，實(shí)現(xiàn)了 LiDAR 強(qiáng)度特征的編碼，同時支持 Radar 在 GS 環(huán)境下的渲染；未來，將進(jìn)一步在 3DGS 環(huán)境中實(shí)現(xiàn)更為完整的 LiDAR 和 Radar 模擬，推動兩者的深度融合與落地應(yīng)用。
關(guān)注微信