美國GPU製造商Nvidia最近公開了一項令人振奮的研究成果，他們開發出一種全新的人工智慧（AI）模型，可以將2D影像轉換為極詳細的3D模型。

這對於許多創意產業的專業人士來說是一個重大突破，至今的生成式AI模型在捕捉物體細節方面存在一些困難，比如無法處理重複的紋理、均勻的顏色以及明顯的色彩變化等問題。然而，Nvidia的這項新AI技術「Neuralangelo」，據説能夠克服這些問題，它提供了高擬真模型，能夠精確地將2D影像中複雜的材料紋理轉換為3D模型。

Nvidia的AI技術將對創意產業帶來許多好處，例如透過這項技術可以輕鬆地從智慧型手機拍攝的影片中快速產生虛擬物體。這種技術的潛在應用非常廣泛，包括藝術創作、虛擬實境、遊戲開發、機器人技術以及數位孿生...等領域，都是馬上受惠的應用範疇。

目前的測試中，他們已經成功使用Neuralangelo重新建立米開朗基羅的大衛像和一輛卡車的3D模型；此外，還可以重建大型環境或結合無人機拍攝的空拍素材，目前也已經成功以此方式做出他們位於灣區總部的3D模型。

Nvidia的研究部高級總監劉明宇表示：「Neuralangelo提供的3D重建能力對於創作者非常有利，可以幫助他們將現實世界完整地轉換到數位空間。」他還指出：「這個工具能夠將各種細節豐富的物體導入虛擬環境，不論是小型雕塑還是高樓大廈，都能藉此置入於電子遊戲或虛擬空間中。」

目前，雖然Neuralangelo尚未與3D列印結合，但Nvidia的發言人表示這很可能是下一步發展方向。畢竟將Neuralangelo與3D列印相結合的潛力，透過虛實轉換，甚至可以無限複製出虛擬實體，兩種技術結合能產生的巨大的商業價值是顯而易見的。

目前，數位孿生技術已經在產品研發和原型設計被廣泛應用，並且正在逐步擴展到產品的整個生命周期。

Neuralangelo的工作原理是透過神經網絡架構（NGP）和信號距離函數（SDF）的結合，實現高品直的影像轉換。NGP提供了混合3D網格結構和多分辨率哈希編碼，這種結合方式大大提升了表現能力，能夠捕捉到更多細節。

簡單的說，Neuralangelo透過選擇幾個突出不同視點的單一成像片段，將物體或環境的2D視頻轉換為大致的3D模型；然後再藉由AI優化這些粗略的渲染，提高細節的清晰度，產出具有高品質表面和精度的最終模型。

研究人員在過程中強調了兩個關鍵因素：第一個是運用數值梯度計算高階導數，能幫助穩定優化過程。其次，是漸進式優化計劃，以恢復不同細節層次的結構，這種方法能幫助全面且準確的重建3D模型。

Nvidia將在即將舉行的電腦視覺和模式識別大會（CVPR）展示Neuralangelo的成果，預計將於6月18日至22日在溫哥華舉行，內容涵蓋姿態估計、3D重建和視頻生成等領域。

人工智慧和3D列印是近幾年的主要關鍵字之一，今年的3D列印產業調查中，研究顯示自動化AI 3D模型作為3D列印未來發展的應用也特別突出。

此外，在Nvidia另外宣布推出了名為Magic3D的AI 3D模型生成工具後，Magic3D表示它可以在40分鐘內生成3D物體，速度是過去使用DreamFusion軟體的兩倍，也許這項科技的未來會比我們預期的更快到來？

參考資料