技術文章
一、引言
在自動駕駛與具身智能的發展歷程中,數據一直是制約模型能力的重要因素。目前,Waymo的自動駕駛數據累計達3200萬公里,特斯拉車隊的回傳數據都是PB級的,但自動駕駛數據還是缺乏。這揭示了一個真相:真實世界的數據獲取正遭遇邊際收益遞減的困局。
隨著模型參數規模的指數級膨脹,我們面臨一個核心矛盾——AI 極度渴求長尾場景,而真實世界的試錯代價是不可逆的。這一瓶頸促使 AI 基礎設施正在發生一場深刻的范式轉移:從“被動采集真實世界",轉向“主動構建虛擬世界"。
3D Gaussian Splatting與虛擬合成數據,正是這場革命的兩大驅動力。針對上述矛盾,本文將從仿真范式的三層演進出發,系統拆解3DGS如何以顯式表達打破傳統仿真的真實感瓶頸,并進一步闡述合成數據如何形成“采集—重建—擾動—閉環"的工業級流水線,最終降低標注成本、壓縮Sim-to-Real鴻溝。
二、AI 仿真的范式更迭

3DGS技術原理圖
當前,AI 仿真不僅是物理引擎的簡單堆砌,它已演變為三層的復雜系統:物理仿真(牛頓世界)、傳感器仿真(像素世界)以及行為仿真(社會世界)。
長期以來,AI 仿真受困于4個問題:高昂的標注成本、難以捕捉的長尾場景、數據隱私的合規壁壘,以及物理試錯的風險。傳統游戲引擎雖然提供了可控性,但保真性弱的視覺表現使得 Sim-to-Real 的鴻溝難以跨越。
為了解決這一問題,三種技術路徑正在融合:引擎仿真(強交互)、神經渲染重建(高真實感)以及生成式 AI(廣擴展性)。而 3DGS 的橫空出世,恰恰成為了將三者串聯起來的關鍵組件。
三、3DGS:讓世界成為“可計算資產"
1、3DGS技術原理

3DGS技術原理圖
2023 年發布的 3DGS,標志著神經渲染從學術界正式邁向工業界。與 NeRF 的隱式黑盒不同,3DGS 采用了一種極其巧妙的顯式表達:將整個世界拆解為數百萬個發光的“3D 高斯橢球"。
(1)實時性:3DGS 放棄了昂貴的神經網絡體渲染,通過圖形學中經典的“Splatting"技術,實現了 100+ FPS 的實時渲染。
(2)顯式表達:由于每個高斯基元都攜帶位置、旋轉、縮放與顏色參數,這意味著場景不再是一個無法修改的“整體",而是可以像粒子系統一樣被編輯、裁剪、拼接與二次創作。
這種“顯式性"賦予了工業生產巨大的靈活性。對于自動駕駛公司而言,3DGS 不再僅僅是視覺重建工具,它已進化為一種“數字孿生語料"。工程師可以在已重建的街景中任意插入障礙物、改變天氣條件,或模擬光照下的傳感器反饋,從而生成高質量、帶標注、且極其接近真實分布的訓練數據。
2、康謀3DGS仿真應用
(1)構建豐富的ODDs
利用3DGS技術,能快速搭建出不同的仿真環境,并基于aiSim仿真平臺進行自動駕駛仿真測試。以下是aiSim中的實機演示畫面,場景都是用3DGS生成。

(左)城區、(中)泊車、右(測試場地)
(2)量化驗證
我們對3DGS生成的場景做了不同方式的測試,以確保3DGS的仿真畫面是高度逼真的,與現實世界的畫面特征高度重合。
①基于DEVIANT算法驗證
DEVIANT是單目3D目標檢測算法,我們將該算法應用到仿真的3DGS畫面和真實畫面,算法都能進行正常的識別任務,說明3DGS沒有引入明顯的領域差異。

②端到端測試驗證
在3DGS環境中進行智駕的閉環測試,即便在偏離原始數據采集軌跡的全新路徑上,依然能夠自主行駛。這說明在aiSim的3DGS環境中能夠進行閉環駕駛驗證,從而打通了端到端的智駕測試驗證。
在3DGS環境中進行實時智駕測試畫面:

四、合成數據的工業閉環
在 3DGS 的加持下,合成數據流水線發生了一次從“生成"到“編程"的躍遷。傳統的仿真依賴大量美術建模,周期長且真實感存疑;而 3DGS 路徑下的資產生產流程簡潔高效:多視角采集 → 3DGS 訓練 → 場景擾動 → 數據自動導出。
構建流程:

這種路徑帶來了三個關鍵優勢:
(1)特征一致性:場景底層的幾何與紋理源于真實拍攝,從源頭上壓縮了 Sim-to-Real 的性能掉點。
(2)仿真閉環:通過對歷史真實事故數據的重建與擾動,AI 可以進行重復的極限測試,讓算法在“虛擬現場"中自我糾錯。
(3)標注成本降低:在虛擬空間中,深度圖、語義分割、光流等數據皆為“生產副產品",從而減低了人工標注成本。
五、結語
未來,物理屬性(材質、光照、形變)將深度耦合進 3DGS 系統中,使得虛擬世界不僅看起來,更能夠符合物理特征。
這不僅是技術的升級,更是 AI 開發范式的重塑。借助 3DGS 技術與合成數據流水線,我們得以跳出對真實世界數據的被動依賴,轉而主動構建貼合實際需求的虛擬仿真環境,高效推進場景迭代與算法優化。
AI 仿真的能力上限,本質上取決于我們構建世界的深度與廣度。 從理解像素到構建世界,這場由 3DGS 與虛擬數據驅動的變革已經開始!
關注微信