Facebook近日開源了將PyTorch用于3D深度學(xué)習(xí)的函數(shù)庫 PyTorch3D，這是一個(gè)高度模塊化且經(jīng)過優(yōu)化的庫，具備獨(dú)有的功能，旨在通過PyTorch簡化3D深度學(xué)習(xí)。PyTorch3D為3D數(shù)據(jù)提供了一組常用的3D運(yùn)算符和快速且可微分的損失函數(shù)(loss function)，以及模塊化的可微分渲染API。通過上述的功能，研究人員可以立即將這些函數(shù)導(dǎo)入至當(dāng)前最先進(jìn)的深度學(xué)習(xí)系統(tǒng)中。

　　研究人員和工程師可以利用PyTorch3D進(jìn)行各種3D深度學(xué)習(xí)研究(無論是3D重構(gòu)、集束調(diào)整，乃至3D推理)，以及改進(jìn)在二維空間下的識(shí)別任務(wù)。

　　對(duì)三維空間的認(rèn)知，在人工智能與真實(shí)世界的互動(dòng)過程中扮演著十分重要的角色。例如機(jī)器人在物理空間中的導(dǎo)航、改進(jìn)虛擬現(xiàn)實(shí)體驗(yàn)，以及識(shí)別2D內(nèi)容中被遮擋的物體等。不過即便有豐富深度學(xué)習(xí)技術(shù)積累的Facebook，在面對(duì)3D的深度學(xué)習(xí)問題時(shí)依然會(huì)被困擾。Facebook表示，之所以深度學(xué)習(xí)技術(shù)較少用于3D場景，是因?yàn)槿狈ψ銐虻墓ぞ吆唾Y源來支撐神經(jīng)網(wǎng)絡(luò)與3D數(shù)據(jù)結(jié)合使用的復(fù)雜性，這種場景要求更多的內(nèi)存與更高的算力，不像2D圖像可以使用張量表示，而且許多傳統(tǒng)圖形運(yùn)算符不可微分，因此3D深度學(xué)習(xí)技術(shù)的研究受到了限制。

　　為此，F(xiàn)acebook構(gòu)建了PyTorch3D函數(shù)庫以推動(dòng)3D深度學(xué)習(xí)研究，與PyTorch為2D識(shí)別任務(wù)提供高度優(yōu)化的函數(shù)庫一樣，PyTorch3D通過提供批處理以及對(duì)3D運(yùn)算符和損失函數(shù)的支持來優(yōu)化訓(xùn)練和推理。為了簡化3D模型批處理的復(fù)雜度，F(xiàn)acebook創(chuàng)建了Meshes格式，這是一種專為深度學(xué)習(xí)應(yīng)用程序設(shè)計(jì)，用于批處理的異構(gòu)網(wǎng)格模型數(shù)據(jù)結(jié)構(gòu)。

　　這種數(shù)據(jù)結(jié)構(gòu)可以讓研究人員輕松地將基礎(chǔ)網(wǎng)格模型數(shù)據(jù)快速轉(zhuǎn)換成不同的視圖，以使運(yùn)算符與數(shù)據(jù)的最有效表示方式相匹配。更重要的是，PyTorch3D為研究人員和工程師提供了能夠靈活地在不同的表示視圖之間進(jìn)行有效切換的方式，并訪問不同的網(wǎng)格屬性。

　　渲染是計(jì)算機(jī)圖形學(xué)中的核心內(nèi)容，它可將3D模型轉(zhuǎn)換為2D圖像。這也是在3D場景屬性(scene properties)和2D圖像像素之間建立橋接的常規(guī)手段。不過傳統(tǒng)渲染引擎無法進(jìn)行微分，因此它們不能被合并至深度學(xué)習(xí)工作管道中。所以，F(xiàn)acebook在PyTorch3D內(nèi)置了高度模塊化的可微分渲染器，能用來處理可微分的3D數(shù)據(jù)。此功能的實(shí)現(xiàn)由可組合單元組成，允許用戶輕松擴(kuò)展渲染器以支持自定義照明或陰影效果。

　　Facebook將這些功能打包成工具包，并提供了運(yùn)算符、異構(gòu)批處理功能和模塊化可微分的渲染API等，幫助研究人員進(jìn)行復(fù)雜的3D神經(jīng)網(wǎng)絡(luò)應(yīng)用研究。

　　查看 PyTorch3d 文檔：https://pytorch3d.org/docs/why_pytorch3d.htm

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。