Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields | 논문 리뷰

CVPR 2024.
Shijie Zhou, Haoran Chang, Sicheng Jiang, Zhiwen Fan, Zehao Zhu, Dejia Xu, Pradyumna Chari, Suya You, Zhangyang Wang, Achuta
KadambiUniversity of California | University of Texas at Austin | DEVCOM ARL
6 Dec 2023

 

Introduction

Feature 3DGS는 3D-GS 프레임워크를 기반으로 한 최초의 feature field distillation(분리!!) 기술을 제안하는 논문이다.

3DGS 프레임워크는 기본적으로 각 Gaussian에서 semantic feature의 joint 학습을 지원하지 않는다. (semantic feature : object 별로 구분된 특징)

 

본 논문에서는 색상 정보 외에도 각 3D Gaussian의 semantic feature를 학습할 것을 제안하고, 그 후 2D foundation model을 사용한 feature field의 추출을 통해 segmentation을 가능하게 하였다.

 

Method

High-dimensional Semantic Feature Rendering

3D Gaussian이 radiance field와 feature field를 모두 explicit하게 표현할 수 있도록 하는 high-dimensional segmentic feature 렌더링 및 feature field distillation을 위한 새로운 파이프라인을 도입하였다.

본 논문의 방법은 일반적이며 모든 2D foundation model과 호환될 수 있다.

다양한 종류의 2D foundation model에 대처하기 위해 임의의 크기와 임의의 feature 차원의 2D feature map을 렌더링할 수 있어야 한다.

 

1. 이를 위해 3DGS의 렌더링 파이프라인을 Structure from Motion을 사용하여 Gaussian을 초기화한다.

2. 기존의 Gaussian 속성에 semantic feature f을 통합한다.

3. feature map의 각 픽셀의 값 Fs를 계산한다.

여기서 N은 주어진 픽셀과 겹치는 정렬된 Gaussian 집합이고, T는 투과율이다.
Fs의 아래 첨자 s는 “student”를 나타내며, 이는 렌더링된 feature가 “teacher” feature FtFt에 의해 픽셀 단위로 supervise됨을 나타낸다.
Ft는 2D foundation model의 인코더를 사용하여 ground truth 이미지를 인코딩하여 얻은 latent 임베딩이다.
본질적으로 미분 가능한 볼륨 렌더링을 통해 대규모 2D teacher model을 작은 3D student explicit 장면 표현 모델로 추출한다고 볼 수 있다.

 

4. Rasterization 단계에서는 RGB 이미지와 feature map을 독립적으로 rasterization하는 것이 아니라 같이 최적화한다. 이미지와 feature map 모두 동일한 타일 기반 rasterization 절차를 사용한다. 이 접근 방식을 사용하면 feature map의 충실도가 RGB 이미지의 충실도만큼 높게 렌더링되어 픽셀당 정확도가 유지된다.

 

Optimization and Speed-up

Loss function은 photometric loss와 feature loss의 결합이다.

 

Ft(I) 는 2D foundation model에서 얻은 ground truth 이미지 I에 대한 feature map이고, Fs(^I) 는 렌더링된 feature map이다.

픽셀당 L1 loss 계산에 대해 동일한 해상도 H×W를 보장하기 위해 bilinear interpolation을 적용하여 Fs(^I)의 크기를 적절하게 조정한다. 실제로 γ=1.0γ=1.0, λ=0.2λ=0.2를 사용한다.

렌더링된 feature map Fs(^I)∈R H×W×N과 teacher feature map Ft(I)∈R H×W×M 사이의 차이를 최소화하기 위해 이상적으로는 N=M 으로 최소화한다. 그러나 2D foundation model의 높은 latent 차원으로 인해 (LSeg는 M=512M=512, SAM은 M=256M=256) 실제로 M은 매우 큰 수이므로, 이러한 고차원 feature map을 직접 렌더링하는 데 많은 시간이 소요된다.

 

이 문제를 해결하기 위해 rasterization 프로세스 마지막에 속도 향상(speed up) 모듈을 도입한다.

이 모듈은 kernel size 1×11×1로 feature 채널을 업샘플링하는 lightweight convolution decoder로 구성된다.

결과적으로 임의의 N≪M을 사용하여 f∈RN을 초기화하고, 이 학습 가능한 디코더를 사용하여 feature 채널을 일치시키는 것이 가능하다.

이를 통해 다운스트림 task의 성능을 저하시키지 않으면서 최적화 프로세스의 속도를 크게 높일 수 있다.

 

* Photometric loss
: 입력 이미지와 렌더링 이미지 간 픽셀 값 차이를 손실로 사용

* D-SSIM은 SSIM을 기반으로 한 손실 함수
: 두 이미지의 밝기(픽셀 값 크기), 대비(인접 픽셀간 차이),v구조(픽셀값 분포기반 correlation)를 이용해 두 이미지의 유사도를 계산

 

Promptable Explicit Scene Representation

구체적으로 저자들은 SAM(Segment Anything model)과 LSeg라는 두 가지 기본 모델을 고려하였다.

Segment Anything model

SAM은 특정 task에 대한 학습 없이도 2D에서 promptable/promptless zero-shot segmentation이 가능하다.

 

LSeg

LSeg는 zero-shot semantic segmentation에 언어 기반 접근 방식을 도입하였다.

LSeg는 (DPT 아키텍처가 포함된 )이미지 feature 인코더와 CLIP의 텍스트 인코더를 활용하여 텍스트-이미지 연결을 2D 픽셀 레벨로 확장하였다.

 

본 논문은 추출된 feature field를 사용하여 점, 상자, 텍스트에 의해 프롬프팅되는 모든 2D 기능을 3D 영역으로 확장하였다.

Promptable한 explicit 장면 표현은 다음과 같이 작동한다.

타겟 픽셀과 겹치는 N개의 정렬된 3D Gaussian 중, x에 대한 프롬프트 τ의 activation score는 feature space의 쿼리 q(τ)와 semantic feature f(x) 사이의 코사인 유사도와 softmax로 계산된다.

Score가 낮은 Gaussian들을 필터링 하고, 색상 c(x)와 불투명도 α(x)를 업데이트하여 물체 추출, 물체 제거, 외형 변형 등 다양한 작업을 할 수 있다.

 

Experiments

Novel view semantic segmentation

Replica 데이터셋 렌더링 성능

Replica 데이터셋 semantic segmentation 성능

Replica 데이터셋&LLFF 데이터셋

novel view semantic segmentation 결과 비교

 

Segment Anything from Any View

(a) SAM 인코더-디코더 모듈을 novel view 렌더링 이미지에 적용한 결과와

(b) 렌더링된 feature를 직접 디코딩하여 얻은 SAM segmentation 결과를 비교한 것

다음은 NeRF-DFF와 novel view segmentation 결과를 비교한 것이다. (SAM)

 

Language-guided Editing

NeRF-DFF와 언어 기반 편집 결과를 비교한 것이다.