4D Gaussian Splatting for Real-Time Dynamic Scene Rendering | 논문 리뷰

CVPR 2024.
Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang
School of CS | Huazhong University of Science and Technology 2School of EIC | Huazhong University of Science and Technology | Huawei Inc.
15 Jul 2024

 

Introduction

본 논문은 움직이는 영상에 대해 scene을 렌더링하는 연구이다.

Gaussian Splatting 기법을 사용한 Dynamic scene 모델링 연구를 통해 피사체가 움직여도 시간의 변화에 따라 자연스럽게 렌더링할 수 있게 한다.

기존의 3D-GS를 사용한 방법들은 입력 이미지를 요구 or 메모리와 트레이닝의 문제가 존재
•3D-GS: 정적인 장면 중점
•Dynamic 3D-GS: 입력 이미지 요구 & 메모리 사용량 증가
•Deformable 3DGS: training 비효율적

 

본 논문에서 제안하는 방법론에서는 spatial-temporal structure encoder를 사용해 인접한 서로 다른 3D Gaussian들을 연결하여 보다 정확한 움직임과 모양 변형을 예측할 수 있다.

궁극적으로 4D Gaussian Splatting 통해 효율적인 학습 효율성과 실시간 렌더링을 얻을 수 있다.

 

Method

4D Gaussian Splatting Framework

전체적인 프레임워크를 보자.

4D Gaussian은 Static한 3D Gaussian을 만든 후,

시간에 따른 각 3D Gaussian들의 Position, Rotation, Scaling 변화량을 모델링한다.

이 변화량을 Deformation Field로 표현하고, ( 3D Gaussian을 입력으로) 얼마나 변형시켰는지 대해 다음과 같이 출력하는 것을 확인할 수 있다.

Encoder를 보면 먼저 6가지의 matrix으로 변형되고, 그다음 feature vector로 합쳐지며, MLP를 통과하여 최종 결과 값을 획득하게 된다.

 

4D-GS rendering process

NeRF기반의 Dynamic Model은 ray위에 point들을 deformation했기 때문에, 각 point의 서로 다른 속도를 잘 모델링하지 못하여 퀄리티 하락이 있다.

4D Gaussian Splatting에서는 각 Gaussian이 ray에 의존하지 않고 서로 다른 속도로 이동이 가능하기 때문에, 시간 t에 따라 Gaussian의 위치가 이동하면 다른 ray를 통해 이동된 Gaussian을 rendering 할 수 있게 된다.

 

Gaussian Deformation Field Network

Multi-resolution HexPlane으로 3D Gaussian의 spatial, temporal 값을 encoding 한다.

여러개(multi)의 Resolution으로 Rank를 구성하고 이를 MLP의 input의 feature로 사용한 것이다.

i, j에 대한 것은 각 평면의 차원을 의미하고, R은 그 차원으로 구성된 Rank를 의미한다.

interpolation은 타겟 좌표의 주변의 Tensor 값들로 보간(interpolation)한다는 것을 나타낸다.

각 차원에 대해 interpolation한 값을 concat하여 voxel에 대한 feature값으로 만들게 된다. (fx가 뉴럴 복셀에 대한 픽셀임)

위와 같이 모델링하게 되면, 공간상과 시간상의 (x,y평면) 각각 인접한 voxel은 유사한 feature들을 나타내고, 시간상(xt평면)으로 인접한 voxel들은 유사한 feature들을 나타낸다.

3D Gaussian들의 모든 feature들이 인코딩되면, decoder를 사용하여 원하는 변수를 계산할 수 있다.

별도의 MLP를 사용하여 position, rotation, scaling의 변형을 계산하면, 이와 같이 처리됩니다.

최종적으로 변형된 3D Gaussian을 얻을 수 있다.

 

Optimization

3D Gaussian 스플래터 방법과 동일하게 Structure from Motion(SfM) 포인트 초기화를 통해 학습시켜서 퀄리티를 향상한 뒤,

그 후에 dynamic scene을 fine-tuning형태로 학습시켰다고 한다.

Loss function은 L1 color loss를 사용하고, 그리드 기반 tv loss 도  추가로 적용하였다.

 

Experiments

[D-NeRF Synthetic Dataset]

RTX 3090 GPU 800 x 800

dynamic scene 데이터셋 이기 때문에 3DGS(3D Gaussian Splatting)의 PSNR은 낮은 것을 볼 수 있으며, 이전 dynamic scene 연구에 비해 퀄리티가 높고, 랜더링 속도가 빠른 것을 볼 수 있다.

 

rendering speed and numbers of 3D Gaussians