엔비디아, AI로 현실 재창조... 대규모 디지털 모델 구축 위한 fVDB 도입 - News

엔비디아 실제 세계의 AI 레디(AI-ready) 가상 모델(virtual representation)을 생성하기 위한 새로운 딥 러닝 프레임워크인 fVDB를 발표했다.

엔비디아(www.nvidia.co.kr)가 7월 30일, 미국 콜로라도 덴버에서 열린 시그라프(SIGGRAPH) 2024에서 실제 세계의 AI 레디(AI-ready) 가상 모델(virtual representation)을 생성하기 위한 새로운 딥러닝프레임워크 인 fVDB 를 발표했다.

fVDB는 물, 불, 연기, 구름과 같은 희소한 볼류메트릭 데이터(volumetric data)를 시뮬레이션하고 렌더링하기 위한 업계 표준 라이브러리인 오픈VDB(OpenVDB)를 기반으로 구축됐다.

현실 세계에 존재하는 자율주행 차량이나 로봇과 같은 물리 생성형 AI는 3D 공간을 이해하고 그 안에서 작동할 수 있는 능력인 '공간지능(spatial intelligence)'을 갖춰야 한다.

우리 주변을 둘러싼 세계의 초미세한 대규모 디테일을 포착하는 것은 필수적이다. 하지만 현실을 가상의 표현으로 변환해 AI를 훈련시키는 것은 어려운 일이다.

실제 환경에 대한 원시 데이터는 신경방사장(Neural Radiance Fields, NeRF), 라이다(lidar)와 같은 다양한 기술을 통해 수집할 수 있다. fVDB는 이 데이터를 실시간 렌더링되는 대규모 AI 레디 환경으로 변환한다.

이번 시그라프에서 지난 10년간의 오픈VDB 표준 혁신을 기반으로 한 fVDB 발표는 산업계가 현실 세계의 디지털 트윈을 통해 혜택을 누릴 수 있는 방법에 있어 중요한 도약을 의미한다.

현실 규모의 가상 환경은 자율 에이전트 훈련에 사용된다. 도시 규모의 3D 모델은 기후 과학과 재난 계획을 위해 드론으로 촬영된다. 오늘날 3D 생성형 AI는 도시 공간과 스마트 시티를 계획하는 데에도 사용된다.

fVDB를 통해 산업계는 이전보다 더 큰 규모와 더 높은 해상도로 공간 지능을 활용함으로써 물리적 AI를 더욱 스마트하게 만들 수 있다..

이 프레임워크는 효율적인 3D 시뮬레이션을 위한 GPU 가속 데이터 구조인 나노VDB(NanoVDB) 위에 엔비디아 가속 AI 연산자를 구축한다. 이러한 연산자에는 콘볼루션(convolution), 풀링(pooling), 어텐션(attention), 메싱(meshing)이 포함되며, 모두 고성능 3D 딥 러닝 애플리케이션을 위해 설계됐다.

AI 연산자를 통해 기업은 대규모 포인트 클라우드 재구성이나 3D 생성형 모델링과 같은 공간 지능을 위한 복잡한 신경망을 구축할 수 있다.

fVDB는 엔비디아 연구팀의 오랜 노력의 결과물이며, 이미 크고 복잡한 실제 공간의 고충실도 모델이 필요한 엔비디아 리서치(Research), 엔비디아 드라이브(DRIVE), 엔비디아 옴니버스(Omniverse) 프로젝트를 지원하는 데 사용된다.

fVDB의 주요 장점

•더 큰 규모: 이전 프레임워크보다 4배 더 큰 공간 규모

•더 빠른 속도: 이전 프레임워크보다 3.5배 빠른 속도

•상호 운용성: 기업은 방대한 실제 데이터 세트를 완벽하게 활용할 수 있다. fVDB는 VDB 데이터 세트를 풀사이즈(full-sized) 3D 환경으로 읽어들인다. 공간 지능으로 실제 AI를 구축할 수 있도록 AI 지원과 실시간 렌더링이 가능하다.

•더 강력해진 연산자: 이전 프레임워크보다 10배 더 많은 연산자. fVDB는 이전에는 여러 개의 딥러닝 라이브러리가 필요했던 기능을 결합해 프로세스를 간소화한다.

fVDB는 곧 엔비디아 NIM 추론 마이크로서비스로 제공될 예정이다. 아래의 세 가지 마이크로 서비스를 통해 기업은 fVDB를 오픈USD(Universal Scene Description, OpenUSD) 워크플로우에 통합할 수 있다. 이로써 산업 디지털화와 생성적 물리 AI 애플리케이션을 위한 개발 플랫폼인 엔비디아 옴니버스에서 AI 지원 오픈USD 지오메트리(geometry)를 생성할 수 있다:

•fVDB 메시 생성 NIM(fVDB Mesh Generation NIM) – 실제 세계의 디지털 3D 환경 생성

•fVDB NeRF-XL NIM – 옴니버스 클라우드 API를 사용해 오픈USD에서 대규모 NeRF 생성

•fVDB 물리 슈퍼-레스 NIM(Physics Super-Res NIM) – 초해상도 수행으로 오픈USD 기반의 고해상도 물리적 시뮬레이션 생성

지난 10년 동안 아카데미 소프트웨어 재단에 소속된 오픈VDB는 시각 효과 산업 전반에 걸쳐 사용되는 핵심 기술로서, 여러 차례 아카데미상을 수상했다. 이후 엔터테인먼트 분야를 넘어 산업 디자인, 로보틱스 등 산업, 과학 분야로 그 활용 범위가 확대됐다.

엔비디아는 오픈 소스 오픈VDB 라이브러리를 지속적으로 개선하고 있다. 4년 전에는 오픈VDB에 GPU 지원을 추가한 나노VDB를 출시했다. 이를 통해 속도가 대폭 향상돼 더 빠른 성능과 더 쉬운 개발이 가능해졌으며 실시간 시뮬레이션과 렌더링의 문이 열렸다.

2년 전, 엔비디아는 뉴럴VDB(NeuralVDB)를 출시했다. 이는 나노VDB를 기반으로 머신 러닝을 구축해 VDB 볼륨의 메모리 공간을 최대 100배까지 압축함으로써 크리에이터, 개발자, 연구자가 매우 크고 복잡한 데이터 세트와 상호 작용할 수 있도록 했다.

fVDB는 나노VDB 위에 AI 연산자를 구축해 현실의 규모에 맞는 공간 지능을 구현한다. 얼리 액세스 프로그램에 신청하면 fVDB 파이토치(PyTorch) 확장 프로그램에 액세스할 수 있다. fVDB는 오픈VDB 깃허브(GitHub) 저장소의 일부로도 제공될 예정이다.