NeRF | 논문 리뷰

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

 

ECCV 2020.
Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng
UC Berkeley | Google Research | UC San Diego
19 Mar 2020

 

Introduction

Drum에 대한 이미지 NeRF 학습 결과

 

NeRF는 Neural Radiance Fields의 줄임말로 2D 이미지를 입력으로 주었을 때, 마치 3D를 보는 것처럼 다른 시점에서 본 입력 이미지를 생성하는 View Synthesis task를 다룬다. 모델은 MLP 형식으로, 단순한 구조로 3D scene representation을 성공하였다.

 

NeRF의 전체 흐름:

하나의 2D object에 대해 여러 방향에서 찍힌 이미지들을 학습하여, 학습하지 않은 방향에서 바라본 object 모습을 예측한다.

3D Object 자체를 생성하는 것이 아니라 object를 새로운 방향에서 바라보는 장면을 생성하는 View Synthesis 기술이다.

 

• Input data : 다양한 각도에서 객체를 촬영한 이미지 (RGB + Mask의 4채널) / 카메라 파라미터 (카메라 위치 + 각도)
• Output data : 새로운 view

 

Neural Radiance Field scene representation 개요와 rendering 절차
(a) ray를 따라 5D 좌표(위치 + 시각 방향)를 샘플링해 영상을 합성
(b) MLP에 5D 좌표를 통과시켜 색상(RGB)와 밀도(density)를 생성
(c) volume rendering 기술을 이용해 ray를 픽셀 값으로 합성
(d) 합성된 픽셀과 실제 학습 데이터 사이의 차이를 최소화해 scene representation를 최적화

 

우선, ray와 입력 데이터로 사용되는 5D 좌표 $x, y, z$, θ, ϕ에 대해 간단하게 짚고 넘어가자.

 

ray

ray는 화면 상에 투영되는 이미지를 생성하기 위해 object와 상호 작용되는 빛을 의미한다.

r(t)=o+td로 표현, o는 원점(카메라), d는 시각 방향, t는 샘플링되는 지점(원점에서 시각 방향으로 특정 거리만큼 이동)을 의미.

NeRF는 ray가 object가 부딪힐 때, 해당 object에 닿는 빛의 양을 추측하는 형태의 radiance field rendering 방식을 사용한다.

radiance field에서 하나의 object는 수많은 작은 입자로 이루어져 있어,

공간의 특정 지점에서 ray가 object와 충돌하는 것은 입자(particle)와 충돌이 발생할 확률로 근사화된다.

모든 광선은 입자가 닿을 때까지 field를 통과하며, 최종적으로 종료되었을 시 해당 particle에서 카메라를 향해 반사되는 색을 반환한다.

위치 $x=(x,y,z)$ 와 시각 방향 d=(θ,ϕ)를 입력 받음.

 

Volume Rendering with Radiance Fields

Volume Rendering은 그래픽스 분야에서 3D 데이터를 2D 투시로 보여주는 시각화 기술이다.
NeRF는 volume rendering을 하기 위해, radiance field 환경의 ray를 사용하는데

ray에 어떤 지점을 가져와 rendering에 사용할 지 정해야하며, 이때 Stratified Sampling을 사용해 지점들을 sampling한다.

C(r) : ray r의 volume rendering 예상 색상 값
t : 현재 sampling된 위치
T(t) : 누적 투과도(transmittance)로 ray r가 물체 일부 입자(particle)에 부딪히지 않고 t까지 이동할 확률
σ(r(t)) : 밀도로 ray r이 위치 t에서 입자와 충돌할 확률
d : 시각 방향(θ,ϕθ,ϕ)
c(r(t),d) : 방향 d인 ray r의 위치 t에서의 색상 값

 

최종픽셀 C(r) : 샘플링 포인트에서의 density와 color를 곱한 값을 ray를 쏜 가까운 지점부터 먼 지점까지 적분을 하는데, 이 때 Accumulated transmittance(T(t))값 또한 곱해져 있는 것을 볼 수 있다. 이는 ray가 해당 포인트에 도달할 확률이기 때문에, ray가 첫 번째로 만나는 객체의 color에 더 많은 가중치를 가지고 최종 color 값이 결정된다는 것을 알 수 있다.

 

stratified sampling을 사용한다면 연속적인 위치(position)가 가능해, 연속적인 장면 표현을 나타낼 수 있어 위 수식과 같이 적분을 사용할 수 있다.

 

stratified sampling:

일종의 랜덤 샘플링인 strtified sampling을 사용하여 각 bin 마다 일정 간격으로 샘플링을 하지만, bin 내에서는 랜덤하게 샘플 포인트를 생성한다. 

-> 이로 인해 ray에 대해 continuous한 학습이 가능

적분 값을 추정하기 위해 샘플들의 이산적인 집합을 사용하지만 계층화된 샘플링을 사용하면

최적화 과정에서 연속적인 위치에서 MLP가 평가되므로 연속적인 장면 표현을 나타낼 수 있다.

이러한 샘플들을 사용하여 다음과 같이 C(r)을 추정한다.

 

 

Optimizing a Neural Radiance Field

본 논문은 복잡한 scene에 대해 높은 해상도 표현이 가능하도록 2가지 기법을 추가적으로 사용한다.

 

1. Positional Encoding

high-frequency 정보를 잘 보존하기 위해 사용되는 방법, MLP 입력인 위치 정보와 방향 정보에 적용된다.

3차원인 위치 정보와 2차원인 방향 정보가 너무 저차원이기에 positional Encoding으로 고차원으로 임베딩시켜 MLP의 입력 데이터를 고차원화 시켜주는 것이다. (저차원 입력을 사용하면 결과가 low-frequency에 치중됨)

이를 사용하면, 위치의 작은 차이도 더 고차원으로 표현할 수 있기에 MLP가 위치의 세밀한 차이를 잘 학습할 수 있고,

그렇기에 high-frequency를 잘 유지하게 된다는 것이다.

 

위 수식에서 볼 수 있듯이, 하나의 변수 $p$가 입력으로 들어가며 입력 값 $p$ 하나가 $L*2$로 고차원에 매핑된다.

 

방향정보와 Positional Encoding 효과 확인

위 실험 결과를 보면 MLP에 방향 정보를 주입하지 않는 경우, 방향에 따른 컬러 차이를 예측할 수 없기 때문에 반사가 일어나는 부분이 표현되지 않는다.

positional encoding을 사용하지 않는 경우에는 high-frequency 정보가 많이 소실되어 세밀한 부분이 잘 표현되지 않는다.

 

2. Hierarchical Sampling

ray 위에서 포인트를 어떻게 샘플링하는지도 성능에 영향을 끼친다.

퀄리티를 높이는 방법에는 더 많은 sampling을 진행하는 것이 가장 단순한 방법이지만, 렌더링된 이미지에 기여하지 않는 물체가 없는 부분(free space), 가려진 부분(occluded region)이 반복적으로 샘플링될 수 있어 비효율적이다.

 

본 논문에서는 샘플링을 2번에 나눠서하는 방식을 제안하고, 2개의 모델을 사용하며

첫번째 모델을 coarse network, 두번째 모델을 fine network라 한다.

 

coarse network는 위에서 설명했던 Stratified Sampling 방식을 사용한다. N 수에 따라 bins를 나누고 해당 bins 안에서 uniform random sampling을 통해 샘플링을 진행한 후, Volume Rendering 수식까지 모두 계산한다. 이때 밀도값이 높은 샘플링 지점은 어떤 물체가 있을 것으로 예상되는 지점이 되며, 픽셀에 표현될 확률이 높은 지점이라고도 할 수 있다. 따라서 이 지점들에 대해서 더 샘플링을 진행한다면 좀 더 디테일한 좋은 결과를 얻을 수 있을 것이라 상정하고, 두번째 fine network 학습 과정을 진행한다.

fine network에는 inverse transform sampling으로 샘플링한 지점들과 함께 처음 coarse network에서 샘플링했던 지점들을 모두 함께 사용하며, 최종 렌더링 색상을 계산하게 된다.

 

Loss

각 장면에 대해 별도의 NeRF 표현 신경망을 최적화한다. 이를 위해서는 장면의 캡처된 RGB 이미지, 해당 카메라 포즈, intrinsic parameter, 장면 경계로 구성된 데이터셋만 필요하다.

Loss는 단순히 coarse 렌더링과 fine 렌더링 모두에 대해 렌더링된 픽셀 색상과 실제 픽셀 색상 간의 총 제곱 오차이다.

 

Conclusions

Model

model의 구조

모델에 입력되는 값은 녹색, 출력되는 값은 빨간색으로 표시되어 있으며

검은 실선 화살표는 ReLU activation, 주황색 실선 화살표는 activation이 없고

검은색 점선 화살표는 Sigmoid activation이 있는 layer이다.

 

Results

scene 당 별도의 network를 최적화하는 NV와 SRN에 대해서는 모든 수치가 NeRF가 다른 두 모델을 능가함을 볼 수 있다.

LLFF는 Real Forward-Facing 데이터셋 결과에서 LPIPS 수치가 NeRF보다 더 좋지만 NeRF의 저자들은 NeRF의 결과가 더 나은 일관성을 가지고 있으며 더 적은 artifact를 생성한다고 언급한다.

NeRF는 모든 부분에서 디테일한 점까지 만들어냄을 볼 수 있다.

LLFF의 경우 Microphone’s stand와 Material’s object edges에 banding artifact, Ship’s mast와 Lego 내부에 ghosting artifact를 생성했다. LLFF는 입력 view 간 간격(disparity)가 64 픽셀을 넘지 않도록 “sampling guideline”을 제공하기 때문에 view 간격이 최대 400~500 픽셀인 synthetic 데이터셋에서 정확한 기하학적 구조를 추정하지 못하는 경우가 많았다고 한다.

SRN은 모든 경우에 흐릿하고 왜곡된 렌더링을 생성했다. SRN은 심하게 smooth한 질감을 생성하며 하나의 ray에서 단일 depth와 color만 선택하기 때문에 view synthesis를 위한 표현력이 제한된다.

Neural Volumes는 Microphone’s grille 또는 Lego’s gear의 디테일을 생성할 수 없으며, Ship’s rigging에 대한 기하학적 구조를 완전히 생성하지 못했다. 1283개의 voxel grid를 사용하는 것이 명시되어 있어 고해상도에서 자세한 디테일을 나타내기 위해 확장할 수 없는 것이 문제가 된다.