Klíčové poznatky
- Nvidia nedávno předvedla techniku, která změní 2D fotografie na 3D scény během pouhých sekund.
- Metoda využívá výkon počítače k přiblížení toho, jak se světlo chová v reálném světě.
- Metaverze je jednou z oblastí, kde jsou 3D scény užitečné, protože je lze prohlížet z jakékoli perspektivy kamery.
Nová technologie umělé inteligence (AI) od Nvidie by mohla brzy proměnit 2D fotografie na 3D scény během několika sekund, díky čemuž bude vytváření pohlcujících virtuálních prostorů, jako je metaverze, stejně triviální jako zpracování textu.
Nvidia nedávno předvedla fotografickou metodu zvanou Instant NeRF, která využívá výpočetní výkon k přiblížení toho, jak se světlo chová v reálném světě. Mohlo by to přeměnit vaše staré fotografie na scénu videoher nebo to může být použito k výcviku robotů a samořídících aut, aby pochopili velikost a tvar objektů v reálném světě.
„3D zobrazování přináší nový svět transformace,“řekl Lifewire v e-mailovém rozhovoru Oren Debbi, generální ředitel společnosti Visionary.ai, společnosti pro počítačové vidění, která provozuje své 3D algoritmy na platformě Nvidia. "Pomocí 3D napodobujete hloubku skutečného světa do scény a činíte obraz živějším a realističtějším. Kromě AR/VR a průmyslových kamer, kde je 3D velmi běžné, jsme nyní svědky toho, jak se používá téměř na každém smartphonu bez uživatel to i ví."
Přidání dimenzí
První okamžitá fotografie, pořízená před 75 lety fotoaparátem Polaroid, měla za cíl rychle zachytit 3D svět ve 2D obrazu. Nyní výzkumníci umělé inteligence pracují na opaku: proměňují sbírku statických obrázků na digitální 3D scénu během několika sekund.
Tento proces, známý jako inverzní vykreslování, využívá umělou inteligenci k přiblížení toho, jak se světlo chová v reálném světě, což umožňuje výzkumníkům rekonstruovat 3D scénu z několika 2D snímků pořízených z různých úhlů. Nvidia tvrdí, že vyvinula přístup, který tento úkol zvládne téměř okamžitě.
Nvidia použila tento přístup s novou technologií nazvanou pole neuronového záření nebo NeRF. Společnost říká, že výsledek, nazvaný Instant NeRF, je dosud nejrychlejší technikou NeRF. Model potřebuje jen několik sekund k trénování na několika desítkách fotografií a poté dokáže vykreslit výslednou 3D scénu během desítek milisekund.
„Pokud jsou tradiční 3D reprezentace, jako jsou polygonální sítě, podobné vektorovým obrázkům, jsou NeRF jako bitmapové obrázky: hustě zachycují způsob, jakým světlo vyzařuje z objektu nebo ve scéně,“David Luebke, viceprezident pro grafický výzkum ve společnosti Nvidia v tiskové zprávě uvedla: „V tomto smyslu může být Instant NeRF pro 3D stejně důležité, jako byly digitální fotoaparáty a komprese JPEG pro 2D fotografii – což výrazně zvyšuje rychlost, snadnost a dosah 3D snímání a sdílení.”
Shromažďování dat pro napájení NeRF vyžaduje, aby neuronová síť zachytila několik desítek snímků pořízených z různých pozic kolem scény a také polohu kamery každého z těchto snímků.
NeRF trénuje malou neuronovou síť, aby rekonstruovala scénu předpovídáním barvy světla vyzařovaného v libovolném směru, z jakéhokoli bodu ve 3D prostoru.
The Appeal of 3D
Metaverze je jednou z oblastí, kde jsou 3D scény užitečné, protože je lze sledovat z jakékoli perspektivy kamery, řekl Brad Quinton, zakladatel platformy Perceptus pro rozšířenou realitu (AR), Lifewire v e-mailovém rozhovoru. Stejně jako můžeme procházet místností v reálném životě a vidět její obsah z mnoha různých úhlů, díky rekonstruované 3D scéně se můžeme virtuálně pohybovat prostorem a prohlížet si jej z jakékoli perspektivy.
"To může být užitečné zejména pro vytváření prostředí pro použití ve virtuální realitě," řekl Quinton.
Programy jako Object Capture od společnosti Apple používají techniku zvanou fotogrammetrie k vytváření virtuálních 3D objektů ze série 2D obrázků. Quinton předpověděl, že 3D modely budou široce používány ve virtuální realitě a aplikacích AR. Například některé umělé inteligence, jako je ta v platformě Perceptus AR Platform, využívají 3D modely k pochopení skutečného světa, což umožňuje aplikace AR v reálném čase.
Použití 3D obrazů také napodobuje skutečnou hloubku scény a činí obraz živějším a realističtějším, řekla Debbi. Chcete-li vytvořit efekt bokeh (neboli režim na výšku nebo filmový režim), je nutné 3D mapování hloubky. Tato technika se používá téměř na každém smartphonu.
"Toto je již standard pro profesionální kameramany natáčející filmy a stává se standardem pro každého spotřebitele," dodala Debbi.
