2D Gaussian Splatting for Geometrically Accurate Radiance Fields | 논문 리뷰

SIGGRAPH 2024.
BINBIN HUANG, ZEHAO YU, ANPEI CHEN, ANDREAS GEIGER, SHENGHUA GAO
ShanghaiTech University | University of Tübingen Tübingen AI Center | 
9 Jun 2024

 

3D-GS 방법은 NeRF 보다 유리하지만, pointcloud 의 변형에 가까운 특성상 mesh 로 만드는 것은 어렵고, 실사용하기엔 무리가 있다.

실사용할 정도의 성능을 내는 2D-GS에 대해 알아보자.

 

Introduction

3D-GS의 Challenges in Surface Reconstruction

• Thin Surface 를 배우기 어렵다.
• Surface Normal 을 배우지 않는다. -> high-quality surface 를 reconstruction 할 수 없다.
• Multi-View Consistency 가 부족하다. -> 각기 다른 viewpoint 에서 다양한 2D intersection surface 가 발생하는 문제 발생
• Affine Projection 이 정확하지 않다.

Perspective-accurate 2D splatting -> 안정적인 최적화 & thin surface 표현 확보

 

2D Gaussian Splatting

Modeling

Planner disk 형태의 2D Gaussian

 

본 논문에서 제안하는 방법은, flat한 2D Gaussian(surfels)으로 이루어진 scene 을 학습시키자는 것이다.

2D Gaussian의 구성을 먼저 보면,

[중점 pk​, 두개의 tangetial 탄젠셜 vector (tu​,tv​), 스케일링 벡터, normal 벡터] 로 구성이 되어있다.

2D Gaussian은  local tangent plane P 에서 정의할 수 있으며, 이때 plane P 는 위와 같다.

따라서 uv frame 에서 2D Gaussian 을 위와 같은 standard 2D Gaussian fucntion 으로 표현된다.

 

Splatting

2D-to-2D Projections in Homogeneous Coordinates

2D GS 의 저자들은 2D Gaussians projection 으로 homogeneous coordinates 를 이용한 일반적인 2D-to-2D mapping 을 사용할 것을 제안한다.

World-to-screen transformation matrix W에 대하여 (2D) 상의 point (x,y) 는 다음과 같은 관계를 갖는다.

이는 camera space 에서의 point (x,y) 에서의 c2w direction ray 가 2D splats 과 depth z에서 교차한다는 의미이다.

 

Ray-Splat Intersection

따라서 저자들은 ray-splat 의 교점을 3개의 non-parallel plane (uv plane, x-homogeneous plane, y-homogeneous plane) 의 교점을 구하는 방법으로 이를 해결한다.

image coordinate (x,y) 에 대하여,

우리는 ray x=(x,y) 를 두 homogeneous x-plane hx​=(−1,0,0,x) 와 y-plane hy​=(−1,0,0,y) 사이의 교선으로 정의할 수 있으며, world space 에서 정의된 homogeneous plane hx​ 와 hy​ 를 uv-space 상으로 tranform 하여 교점을 구한다.

x, y homogeneous plane 을 uv space 상의로 transform 하여 구한 두 plane hu​, hv​ 은 다음과 같으며,

screen space (x,y) 를 지나는 c2w direction ray 와 2D Gaussian Splats 의 교점은 위와 같이 구할 수 있다.

Ray x와 u,v plane의 교차점도 찾을 수 있다.

 

Degenerate Solutions

안정적인 최적화와 원활한 렌더링을 위해 Low-pass filter를 기반으로, lower-bounded Gaussian을 취득한다.

 

Rasterization

누적 불투명도가 최종적으로 1이 될 때까지 다음의 과정을 반복한다.

• 각 Gaussian에 대해 screen bounding box를 계산한다.
• 2D Gaussian들을 각 중심점을 depth를 기준으로 정렬한다.
• 이후 bounding box 기반의 tile 구성
• 아래 식에 따라 volumetric alpha blending 수행한다.

 

Training

Depth Distortion

3D-GS 의 volume rendering 은 교차하는 splats 간의 거리 차이를 고려하지 않는다.

그렇기 때문에 널리 퍼진 gaussian splats 들은 비슷한 color와 depth를 가질 수 있으며, 이는 surface reconstruction 을 어렵게 한다.

Ray-splat intersection 간 거리를 최소화하는 loss 제안한다.

W는 Blending weight이다.

 

Normal Consistency

모든 2D splats이 실제 surface 와 정렬되도록 하는 normal-consistency loss 를 제시한다.

• 반투명 물체의 잘못된 렌더링으로 normal 값이 일관되지 않는다.
• 누적 불투명도가 0.5이상 나왔을 때부터, loss를 통해 regularization을 수행한다

Final Loss는 다음과 같다.

 

Experience

PSNR 자체는 이전 연구에 비해 뛰어나지 않지만, 본 논문의 연구 성능은 정성평가를 했을 때 확연히 보인다.