Derin Öğrenme Çerçevesi fVDB Kullanılarak Gerçek Dünya 3B Verilerinden Mekansal Zeka Oluşturma
Üretken fiziksel AI modeller, fiziksel dünyadaki ince veya kaba motor becerileriyle eylemleri anlayabilir ve uygulayabilir. Fiziksel dünyanın 3B uzayında anlamak ve gezinmek, mekansal zeka gerektirir. Fiziksel AI’da mekansal zekaya ulaşmak, gerçek dünyayı modelin anlayabileceği AI’ya hazır sanal temsillere dönüştürmeyi içerir.
Ancak gerçek dünya verilerinden mekansal zeka oluşturmak, gerçekliğin devasa ölçeğini ve yüksek çözünürlüğünü kaldırabilecek bir altyapı gerektirir. Genellikle geliştiriciler, mekansal zeka için bir çerçeve oluşturmak üzere farklı kütüphaneleri bir araya getirmek zorundadır. Bu patchwork yaklaşımı sıklıkla hatalara ve verimsizliklere yol açarak sanal ortamın kapsamını sınırlar. Birleşik bir çerçeve olmadan, birden fazla veri yapısı arasında veri kopyalamak performans darboğazlarına, sınırlı boyuta ve gereksiz işlere neden olur.
Gerçeklik ölçeğinde fiziksel yapay zekayı işleyebilen güçlü ve tutarlı bir çerçeve sağlamak amacıyla NVIDIA, seyrek, büyük ölçekli ve yüksek performanslı mekansal zeka için tasarlanmış derin öğrenme çerçevesi fVDB’yi geliştirdi.
fVDB uygulayıcılar için oyunun kurallarını değiştiriyor ve gerçek dünya simülasyonları veya ölçümleriyle tipik olarak ilişkilendirilenler gibi büyük ölçekli 3B verileri içeren derin öğrenme uygulamaları üzerinde çalışan araştırmacılar. Bu tür seyrek büyük ölçekli 3B verilerin örnekleri arasında nokta bulutları, radyans alanları, simülasyonlar için fiziksel nicelikler, işaretli mesafe fonksiyonları ve LiDAR bulunur.
fVDB, bu ismi, kullandığı için almıştır. AçıkVDB verimli bir şekilde temsil etmek özellikler fVDB, derin öğrenme operatörlerini, OpenVDB’nin NVIDIA GPU hızlandırmalı uygulaması olan NanoVDB ile birleştirir. Seyrek hacimsel verilerin verimli depolanması ve simülasyonu için endüstri standardı olan OpenVDB, Akademi Yazılım Vakfı ve NVIDIA’nın Ken Museth başkanlığındaki Teknik Yönlendirme Komitesi tarafından yönetiliyor.
fVDB, açık kaynaklı bir uzantıdır PyTorch büyük 3B veriler üzerinde tam bir derin öğrenme işlemleri kümesinin gerçekleştirilmesini sağlar. Bu derin öğrenme işlemlerinin örnekleri, ünlü makine öğrenme mimarilerinde temel yapı taşları olan dikkat ve evrişimdir. transformatörlerVe evrişimli sinir ağları (CNN’ler)Geleneksel olarak 1D ve 2D’de uygulansalar da (örneğin PyTorch ve TensorFlow’da), fVDB büyük ve seyrek veri kümelerine uygulandığında 3D’de verimli uygulamalara olanak tanır.
Temel yetenekler şunlardır:
- Mevcut VDB veri kümeleriyle uyumluluk: fVDB, mevcut VDB veri kümelerini kutudan çıktığı gibi okuyabilir ve yazabilir. Pythonic uzamsal hesaplama için Warp ve 3D derin öğrenme için Kaolin Kütüphanesi gibi diğer kütüphaneler ve araçlarla birlikte çalışır. fVDB’yi mevcut AI iş akışınıza dahil etmek sorunsuzdur.
- Farklılaştırma için birleşik API
- Sinir ağlarının oluşturulması ve eğitilmesi (evrişim, dikkat, havuzlama ve daha fazlası)
- Işın izleme ve işleme (ışın yürütme, Gauss sıçraması, hacim işleme)
- GPU’da seyrek ızgaralar oluşturma (noktalardan, ağlardan, koordinatlardan vb.)
- Seyrek hacimlerin örneklenmesi ve sıçraması
- GPU’da tekdüze olmayan veri gruplarının verimli bir şekilde işlenmesi
- Daha hızlı ve daha ölçeklenebilir: fVDB, 4 kat mekansal ölçeklendirmeye olanak tanır ve önceki çerçevelere göre 3,5 kat daha hızlıdır.
- Daha fazla özellik: fVDB, önceki çerçevelerden 10 kat daha fazla operatör sağlar. Farklı kütüphaneleri bir araya getirmenize gerek kalmaması için kullanımı kolay API’ler sağlar.
fVDB, aşağıdakiler de dahil olmak üzere çeşitli uygulamalar için mekansal zekayı mümkün kılar:
- 250 milyondan fazla 3 boyutlu noktadan nöral şekil yeniden yapılandırması
- Sinirsel parlaklık alanlarına (NeRF) sahip şehir ölçeğinde dijital ikizler
- Büyük ölçekli 3D üretken AI
- Fizik süper çözünürlüğü, sinir ağlarının daha hızlı düşük çözünürlüklü simülasyonlara yüksek çözünürlüklü 3B ayrıntı eklemek için kullanıldığı bir yöntemdir
fVDB uygulamaları
fVDB, mekansal zeka araştırmaları ve uygulamalarında en son sonuçları elde etmeyi sağlayan bir çerçeve olarak NVIDIA Research, NVIDIA DRIVE ve NVIDIA Omniverse ekipleri tarafından halihazırda kullanılıyor.
Yüzey yeniden yapılandırma
Sinirsel Çekirdek Yüzey Yeniden Oluşturma (NKSR), büyük nokta bulutlarından yüksek doğruluklu yüzeyleri yeniden oluşturmak için yeni bir algoritma uygular. NKSR, sekiz GPU’da 2 dakikada 350 milyon noktadan kilometrelerce uzanan yüksek doğruluklu bir yüzeyi yeniden oluşturabilen fVDB ve sinir çekirdeklerine dayalı büyük ölçekli bir çekirdek çözücüdür.
Üretken AI
Xküp difüzyon üretici modellerini seyrek voksel hiyerarşileriyle birleştirir ve 1024 etkili mekansal çözünürlüğe sahip sahneler üretebilir3 30 saniyeden kısa sürede vokseller. fVDB üzerine inşa edilen, seyrek voksel hiyerarşisini kademeli olarak alt bölümlere ayırarak yüksek çözünürlükler sağlanır. Oluşturulan vokseller, dokular veya semantikler gibi zengin nitelikler içerebilir.
NeRF’ler
NeRF-XL NeRF’leri birden fazla GPU’ya dağıtmak için ilkeli bir algoritmadır. NeRF-XL büyük sahneleri ayrı GPU’lara dağıtılmış daha küçük parçalara ayırır. Eğitim ve işleme prosedürlerini yeniden formüle eder, böylece birden fazla GPU eğitimi matematiksel olarak klasik tek GPU durumuna eşdeğerdir. fVDB, sinirsel işleme sürecinde ışın yürüyüşünü hızlandıran ve birden fazla cihazda paralel hale getirilebilen temel çerçevedir.
NVIDIA fVDB NIM mikro hizmetleri
Yakında, fVDB işlevselliği şu şekilde kullanılabilir olacak: NVIDIA NIM Geliştiricilerin fVDB çekirdek çerçevesini Evrensel Sahne Tanımına dahil etmelerini sağlayan mikro hizmetler (AçıkUSD) iş akışları. fVDB NIM mikro hizmetleri, OpenUSD tabanlı geometri oluşturur NVIDIA Omniverse.
- fVDB Mesh Oluşturma NIM: Nokta bulutu verilerinden Omniverse Cloud API’leri tarafından oluşturulan OpenUSD tabanlı bir ağ oluşturur.
- fVDB Fizik Süper Çözünürlüklü NIM: OpenUSD tabanlı yüksek çözünürlüklü fizik simülasyonu oluşturmak için bir kare veya kare dizisi üzerinde yapay zeka süper çözünürlüğü gerçekleştirir.
- fVDB NeRF-XL NIM: NVIDIA Omniverse Cloud API’lerini kullanarak OpenUSD’de büyük ölçekli NeRF’ler üretir.
USD NIM mikro servislerini kullanarak üretken yapay zekayı OpenUSD iş akışınıza nasıl entegre edebileceğiniz hakkında daha fazla bilgi edinin.
Çözüm
NVIDIA tarafından geliştirilen fVDB, seyrek, büyük ölçekli, yüksek performanslı mekansal zeka için derin öğrenme çerçevesidir. Gerçeklik ölçeğinde dijital ikizleri, sinirsel parlaklık alanlarını, 3B üretken AI’yı ve daha fazlasını etkinleştirmek için OpenVDB’nin üzerine NVIDIA hızlandırmalı AI operatörleri inşa eder.
fVDB PyTorch eklentisine erişimi de içeren fVDB’ye erken erişim için başvurun.
Yakında, fVDB gelişimini takip edebileceksiniz AkademiYazılımVakfı/openvdb GitHub’da. Beklerken, şuraya göz atın: fVDB’yi birleştirme isteğini çekin. fVDB’nin yakın zamanda OpenVDB’ye birleştirilmesi bekleniyor.
SIGGRAPH 2024’e katılın fVDB’ye Giriş: Büyük Ölçekli Mekansal Zeka ile Uygulamalı ÇalışmafVDB’deki kavramları tanıtan ve başlangıç için etkileşimli bir eğitim sunan bir atölye çalışması.
Daha fazla bilgi edinmek için bkz. Academy Software Foundation’dan fVDB duyurusu.
