Hello World :D

Image Segmentation 모델 정리(FCN, DeepLab, U-Net)

해드위그 — Wed, 12 Feb 2025 16:38:57 +0900

Intro

image segmentation이란 물체의 경계를 윤곽선으로 표시하여 해당 물체가 있는 위치를 개별 찾아냄
or Object etection으로부터 이미지 속 여러 영역에 개별 레이블을 지정하는 테스크
Sem antic Segmentation :입력된 이미지의 모든 단일 픽셀에 해당 콘텐츠를 설명하는 클래스 레이블을 할당하는 것
Image classification 모델의 수정을 통해 구현! ➡ FCN에서 시작됨 ➡ DeepLab, FastFCN 등

FCN : Fully Convolutional Networks

기존 classification 모델들은 출력층이 fully-connected layer -> 이미지 위치 정보 사라짐 & 입력 이미지 크기고정
segmentation에서는 원본 이미지의 각 픽셀에 대해 class 구분 & instance 및 배경 분할 테스크 수행 -> 이미지의 위치 정보 매우 중요
모든 FC-layer를 Conv-layer 대체 하자! : Fully connected layer를 1x1 convolution 층으로 바꿈
but, conv만을 이용한 FCN의 출력은 너무 coarse함. (디테일하지 못함. <-> dense) -> dense map으로 전환 필요
end-to-end 학습 : 처음부터 끝까지, 하나의 모델이 학습함.

DeepLab

Atrous Convolution

기존 conv 와 다르게 필터 내부에 빈 공간을 둔 채로 작동
빈 공간을 얼마나 둘지 경정하는 파라미터 rate가 1일 때는 기존 conv와 동일하고, rate가 커질 수록 빈공간이 늘어남.
기존 conv와 동일한 양의 파라미터와 계산량을 유지하면서 한 픽셀이 볼 수 있는 영역 = field of view를 크게 할 수 있게됨.
- 보통 높은 성능을 위해서는, cnn의 마지막에 존재하는 한 픽셀이 입력값에서 어느 크기의 영역을 커버할 수 있는 지를 결정하는 receptive field의 크기가 중요하게 작용함.
- Atrous conv를 활용하면, 파라미터 수를 늘리지 않으면서, receptive field를 크게 키울 수 있음!

VGG16을 사용함
pooling을 이용할 경우 해상도 낮아지고, 불변성 때문에 공간정보의 손실 -> localization의 정확도 떨어짐.
atrous conv를 썼을 때 결과의 feature map이 더 크기 때문에 원본이미지로 복원(업샘플링) 할 때도 수월 -> segmentation의 성능을 높일 수 있음.

U-NET

의학 이미지 segmentation을 위해 개발된 U 형태의 모델
빠른 속도 : 이미지를 인식하는 단위(patch)에 대한 overlap 비율이 적음 / 기존의 sliding window 방식은 이전 patch에서 검증이 끝난 부분을 다음 patch에서 다시 검증하여 연산을 낭비 -> U-NET에서는 중복 검증 X
Context와 Localization 관계 극복 : 클래스 분류를 위한 인접 문맥 파악(context)와 객체의 위치 판단(Localization)을 동시에 수행해야 함. -> patch의 크기가 커지면 더 넓은 이미지 한번에 인식 가능으로 context에 효과적 VS 많은 max-pooling으로 localization 성능 저하 (trade-off 관계) -> U-NET은 다층의 laye의 output을 동시에 검증해 극복

Architecture

Contracting Path

encoder 역할 수행 하는 부분, Conv Net으로 구성
input->feature map으로 변형해 이미지의 context 파악
점진적으로 Spatial dimension을 줄여가며 고차원의 semantic 정보를 convolution filter가 추출해낼 수 있게 됨.
Contracting Path의 앞단에 이미 잘 학습된 모델을 Backbone으로 사용해 학습 효율과 성능을 높일 수 있으며, 주로 ResNet 등의 모델을 사용함.

Expanding Path

Decoder의 역할 수행, Upsampling+Conv Net으로 구성
Convolution 연산을 거치기 전, Contracting Path에서 줄어든 사이즈를 다시 복원(Upsampling)
Contracting을 통해 얻은 Feature Map을 Upsampling하고, 각 Expanding 단계에 대응되는 Contracting 단계에서의 Feature Map과 결합해서(Skip-Connection Concatenate) 더 정확한 Localization을 수행
encoder에서 spatial dimension 축소로 인해 손실된 spatial 정보를 점진적으로 복원하여 정교한 boundary segmentation을 완성
Multi-Scale Object Segmentation을 위해 DownSampling과 UpSampling을 순서대로 반복하는 구조

* 회색 선이 중요함!

-> spatial 정보를 복원하는 과정에서 feature map 중 동일한 크기를 지닌 feature map을 가져와 prior로 활용

-> 더 정확한 boundary segmentation이 가능해짐

Detection 모델 정리(RCNN, Fast RCNN, Faster RCNN, SSD, YOLO)

해드위그 — Wed, 12 Feb 2025 15:45:34 +0900

Intro

객체 탐지 Object Detection은 영상 속의 어떠한 객체 Label가 어디에 (x,y) 어떤 크기로 (w,h) 존재하는지를 찾는 Task이다.
Base가 될 기본적인 모델에 대해 정리 및 요약, 비교이다.

R-CNN

R-CNN은 region proposals와 CNN이 결합된 Regions with CNN의 약자
R-CNN은 이전까지 최고의 성능을 나타낸 기법의 mAP보다 30% 높은 53.3%를 달성
2012년 image classification challenge에서 AlexNet이 큰 성공 → object detection에서도 CNN을 활용한 연구가 진행 → 그 결과물이 R-CNN(object detection 분야에 적용하기 위해 region proposals와 CNN을 결합)
두 가지의 중요한 아이디어 결합

(1) region proposals로 object 위치를 알아내고, 이를 CNN에 입력하여 class를 분류

- 물체가 있을 법한 영역을 제안해주는 단계

selective search 기법을 사용해서 이미지에서 object의 위치를 추출한다.
selective search는 다음과 같은 프로세스로 이루어짐.
- - 이미지의 초기 세그먼트를 정하여, 수많은 region 영역을 생성
  - greedy 알고리즘을 이용하여 각 region을 기준으로 주변의 유사한 영역을 결합
  - 결합되어 커진 region을 최종 region proposal로 제안
이미지에 selective search를 적용하면 2000개의 region proposal이 생성되는데, 이들을 CNN의 입력 사이즈(227x227)로 warp(resize) 하여 CNN에 입력한다. 논문에서는 warp 과정에서 object 주변 16 픽셀도 포함하여 성능을 높였다.

(2) Larger data set으로 학습된 pre-trained CNN을 fine-tunning

Method

1. 입력 이미지에 Selective Search 알고리즘을 적용하여 bounding box(region proposal) 2000개를 추출한다.
2. 추출된 bounding box를 warp(resize)하여 CNN에 입력한다.
3. fine tunning 되어 있는 pre-trained CNN을 사용하여 bounding box의 4096차원의 특징 벡터를 추출한다.
4. 추출된 특징 벡터를 SVM을 이용하여 class를 분류한다.
5. bounding box regression을 적용하여 bounding box의 위치를 조정한다.

문제점

R-CNN은 비효율성을 지니고 있다.
하나의 이미지에 2000개의 region이 존재할 때, R-CNN은 각각의 region마다 이미지를 cropping 한 뒤 CNN 연산을 수행하여 2000번의 CNN 연산을 진행하게 된다.
→ 연산량이 많아지고 detection 속도가 느리다는 단점
이 단점이 개선된 Fast R-CNN, Faster R-CNN이 등장

Fast R-CNN

R-CNN의 단점인 매우 느린 속도를 개선한 논문
차이점은 CNN을 병렬로 수행하느냐, 순차적으로 수행하느냐 라고 할 수 있음.
Fast R-CNN에서는 해당 영역(초록색 박스)의 Feature를 원본 이미지에서 추출(Crop)하는 것이 아니라 Feature Map단에서 추출 -> 입력 이미지마다 단 한번의 CNN만을 수행하면 됨.

RoI(Region of Interest) Pooling

: feature map에서 region proposals에 해당하는 **관심 영역(Region of Interest)**을 지정한 크기의 grid로 나눈 후 max pooling을 수행하는 방법

- 각 channel별로 독립적으로 수행
- 고정된 크기의 feature map을 출력하는 것이 가능

1. 먼저 원본 이미지를 CNN 모델에 통과시켜 feature map을 얻음
800x800 크기의 이미지를 VGG 모델에 입력하여 8x8 크기의 feature map을 얻음.
이 때 sub-sampling ratio = 1/100이라고 할 수 있음 (여기서 말하는 subsampling은 pooling을 거치는 과정을 의미) 2. 그리고 동시에 원본 이미지에 대하여 Selective search 알고리즘을 적용하여 region proposals를 얻음.
원본 이미지에 Selective search 알고리즘을 적용하여 500x700 크기의 region proposal을 얻음
3. 이제 feature map에서 각 region proposals에 해당하는 영역을 추출: 이 과정은 RoI Projection을 통해 가능.
Selective search를 통해 얻은 region proposals는 sub-sampling 과정을 거치지 않은 반면, 원본 이미지의 feature map은 sub-sampling 과정을 여러 번 거쳐 크기가 작아졌음.
작아진feature map에서 region proposals이 encode(표현)하고 있는 부분을 찾기 위해 작아진 feature map에 맞게 region proposals를 투영해주는 과정이 필요.
이는 region proposal의 크기와 중심 좌표를 sub sampling ratio에 맞게 변경시켜줌으로써 가능.
-> Region proposal의 중심점 좌표, width, height와 sub-sampling ratio를 활용하여 feature map으로 투영시켜줍니다.
-> feature map에서 region proposal에 해당하는 5x7 영역을 추출
4. 추출한 RoI feature map 5x7 크기의 영역을 지정한 sub-window 2x2 크기에 맞게 grid를 나눠줌
5. grid의 각 셀에 대하여 max pooling을 수행하여 2x2 크기의 feature map을 얻음

=> 하지만 Fast R-CNN에서 Region Proposal을 CNN Network가 아닌 Selective search 외부 알고리즘으로 수행하여 병목현상 발생

Faster R-CNN

Fast R-CNN은 영역을 제안하기위해 Selective Search라는 알고리즘을 사용하는데, 이는 GPU 내에서 연산을 수행하는 것이 아닌 CPU에서 작동하기 때문에 병목이 발생하게 됨.
영역을 제안(Region Proposal)하는 것도 CNN 내부에서 수행을 하여(=GPU를 이용가능) 네트워크를 빠르게 만들자는 아이디어에서 출발

Method

1. 입력 이미지를 CNN에 통과시켜 Feature Map을 얻는다.

2. 그리고 해당 Feature Map을 Region Proposal Network의 입력으로 사용하여 초록색 Box 영역을 뽑아내게 된다.

3. 그렇게 뽑아낸 영역을 기존 Feature Map에서 추출하여 해당 영역을 RoI Pooling을 수행한다.

4. FC Layer를 통해 Classification과 Regression을 수행하게 된다.

5. Fast R-CNN과 다른점은 영역을 제안할 때, RPN이라는 CNN 기반의 네트워크를 사용하는 것

=> GPU에서 동작할 수 있어 빠름 / 전체 네트워크내에 포함되어 End-to-End 구조

RPN : Region Proposal Network

faster r-cnn의 핵심이라고도 할 수 있음.
RPN의 입력은 input image로부터 CNN을 통과한 Feature Map이다.
위 그림처럼 7x7 크기의 Feature Map이 있을 때, 3x3크기의 커널 크기로 sliding window방식으로 모든 격자 셀 마다 서로 다른 크기의 k개 Anchor box를 정의해준다.
Anchor box와 GT box의 차이를 regression으로 예측하므로 다양한 predict box가 나오게 된다.
Encoder로부터 (Channel, 7, 7)의 Feature Map을 3x3 Conv에 Padding을 1로 주어 (256, 7, 7) 크기로 만든다.
물체가 존재하는지 하지 않는지를 예측하는 Classification을 수행하기 위해 1x1 Conv로 2(배경/전경) * 9(anchors) = 18 채널로 만들고, BBox의 좌표를 예측하는 Regression을 수행하기 위해 1x1 Conv로 4(x,y,x,h) * 9(anchors) = 36채널을 만들게 된다.
이를통해, 각 Grid(7x7) 별로 9개 Anchor의 Class와 좌표값 예측을 수행하게 된다.

=> 겹치거나 작은 사물에 대한 인식률 높음 / 단점은 느림, 애초에 실시간 테스크를 생각하고 만든 네트워크는 아님.

SSD

RCNN 계열의 2-stage detector는 region proposals와 같은 다양한 view를 모델에 제공
→ 높은 정확도 but, region proposals를 추출하고 이를 처리하는 과정에서 많은 시간 소요 → detection 속도가 느리다.
SSD는 다양한 view를 활용하면서 통합된 network 구조를 가진 1-stage detector → 높은 정확도와 빠른 속도
크게 2가지 구성: Multi Scale Feature Layer & Default (Anchor) Box

Multi Scale Feature Layer

image scale 수행시 window사이즈는 고정해두고 수행 -> multi object를 효과적으로 detect하기 어렵고 detect에 문제가 많게 됨.
원본 이미지가 아니라 다른 크기의 feature map을 이용한다면, 정보를 유지할 수 있지 않을까? - 아이디어!
예를 들어 32x32 같은 큰 feature map은 8x8에 비해 비교적 작은 object들을 잘 detect할 수 있게 된다.

Default Box

Region proposal로만 default box를 사용하지 말고 그냥 object detection에 바로 활용하자는 아이디어

구체적으로 저런 고양이 강아지 사진이 있을 때, 8x8에서는 2번째 그림과 같이 anchor box들이 구축되는데, 고양이 부분에서 파랗게 표시된 부분이 바로 GT와 매칭된 anchor box를 의미하게 된다. 매칭 기준은 IOU 50% 이상을 기준으로 판별.
반면 8x8에서는 강아지가 detect되지 않지만 4x4에서는 detect되는 것을 확인할 수 있다.
이 매칭 박스 정보로 classification을 수행하며 이 매칭 박스는 GT와 가까워지기 위해 계속 offset 값을 계산하면서 Bbox regression을 수행!

=> 단점 Data augmentation 의존도가 매우 큼.(작은 object의 성능 향상을 위해) : 특정 IOU 기준으로 filter해서 sampling해서 다시 ratio 맞추는 등 복잡한 방법의 augmentation을 사용함.

YOLO : You Only Look Once

One stage detector을 시작함.
기본적으로 setting하는 것은 cell 단위로 이미지를 나누는 것
7x7 grid로 나누게 되고 각 grid의 cell이 하나의 obejct에 대한 detection을 수행하게 됨.
구체적으로는 각 grid cell이 2개의 bounding box의 후보를 도출하게 되고, 그 bbox들을 실제 ground truth에 근사시키면서 학습을 수행.

Method

1. 우선 input image를 입력할 때 backbone 네트워크로는 VGG가 아닌 Inception-v1 (googlenet) 네트워크 기반으로 동작을 수행

- Googlenet의 대표적인 특징으로는 1x1 convolution layer를 사용한다는 것이 특징 -> feature map의 수를 줄여주어 연산량을 줄여주는 효과

2. backbone을 통과하고 나면, 2개의 dense layer를 거치게 되는데, 이들은 classification과 regression을 수행하기 위해 적용되는 layer

3. 2개의 dense layer를 거쳐 구성된 "7x7x30" 의 feature map을 구축

4. 이들의 information을 활용해서 Bbox regression과 object detection의 예측을 수행하고 이 결과를 바탕으로 네트워크를 업데이트

- 7x7x30의 정보를 활용한다는 것 : 7x7x30의 feature map에서 cell 하나를 뽑게 되면, 그 cell 하나는 30의 depth / cell 당 2개의 Bbox를 가지게 되는데 그 Bbox의 좌표 값과 confidence score를 가지고 있음.

=> 빠르지만 detection 정확도가 높지는 않음/ 뒤로 version 여러개 계속 나옴.

[논문리뷰] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

해드위그 — Wed, 12 Feb 2025 14:58:58 +0900

Intro

* ViT 기반으로 만들어진 백본이다.

* Swin Transformer = Vit + 1.계층적구조 + 2. shift window 라고 할 수 있다.

* window 안에서만 attention연산을 한 후, 각각 window끼리 attention 연산을 하는 형태이다.

Method

전반적인 구조는 위와 같다.

Network

input: H x W x 3의 해상도 이미지가 입력으로 들어가고, 겹치지 않게 각각의 이미지 패치를 나눔
stage 1: Transformer 학습을 위해 사용자가 정의한 C차원으로 매핑해줌(Linear Embedding), 여기서 2개로 구성 된 swin transformer block으로 입력되어 동일한 차원으로 출력됨 (H/4*W/4*C)
stage 2: Patch Merging으로 (H/4*W/4*C) 의 해상도가 (H/8*W/8*2C)로 줄어듦, 2개로 구성 된 swin transformer block으로 입력되어 동일한 차원으로 출력됨.
stage 3,4는 차원과 block 개수만 다르고 나머지는 동일함.

Patch Merging : 해상도를 줄이는 과정

stage 1의 출력인 (H/4*W/4*C)의 차원을 2*2 그룹으로 나눔.
나눠진 그룹은 (H/8*W/8*C)의 차원을 가지고, 4개의 그룹들을 채널을 기준으로 concat함.]
(H/8*W/8*4C) 병합된 차원 축소를 위해 절반인 2C로 축소함.
모든 스테이지에서 위 과정을 동일하게 작용함.

=> 계층적 구조를 통해 representations을 더 잘 학습할 수 있고 연산속도에도 이점이 있음.

Swin Transformer Block

Window

Swin은 window로 쪼개는 방식으로 ViT보다 연산에 이점이 있다.

연산에 시간이 얼마나 걸리는 지 측정한 결과이다.

Swin의 경우 윈도우의 크기는 고정되어 있으므로 상수 취급이 가능하고, HW의 크기에서만 선형적으로 계산량이 증가한다.

Shift Window

window로 나누어 각 독립적으로 self-attention을 시행
cyclic-shifting 방식을 통해 추가적인 계산을 거의 요구하지 x
파티션 좌상단에서 우하단으로 진행

Relative Position Bias

현재 위치를 기준으로 상대적 거리르 계산해서

[논문리뷰] Attention is All You Need (Transformer)

해드위그 — Wed, 12 Feb 2025 14:30:55 +0900

Intro

* RNN을 사용하지 않고 Attention만으로 Seq2Seq 구조를 구현한 모델

* 기존 모델들은 RCC or CNN에 기초, encoder에서 입력 seq을 vector로 압축할 때 일부 정보가 손실되기 때문에 보정을 위해 Attention을 사용하는 형태였다.

* Attention만으로 encoder&decoder를 만들어보자!

* 논문에 따르면, 이 모델은 병렬처리가 가능하고, 학습 시간이 훨씬 덜 소요된다

Attention Machanism

Sequence-to-Sequence

Recurrent model은 Sequence순으로 데이터가 입력되는데, 이전 데이터의 hidden state $h_{t}$ 가 다음 데이터의 hidden state $h_{t + 1}$ 를 구할 때 사용된다. 즉, 어떠한 시점 t에서 구한 hidden state $h_{t}$ 는 그 전 sequence들( $1, 2, \dots, t - 1$ )의 정보를 함축하고 있다고 볼 수 있다. 따라서 위 이미지를 예로 들어 설명하면, tomorrow를 입력으로 받아 출력되는 encoder의 마지막 hidden state는 그 이전 단어들(are, you, free)에 대한 정보까지, 즉 문장의 모든 단어들에 대한 정보를 함축하고 있는 것이다

긴 sequence 데이터를 처리해야할 때, 제한된 크기의 vector로 모든 정보를 담아내야하기 때문에 정보의 손실이 커지고 이에 따라 성능의 병목현상이 일어난다.

Model Architecture

* Encoder : N = 6 Layers / sub -layer 1. multi-head- 2. feed-forward

=> 모든 차원을 512 임베딩

* Decoder : N = 6 Layers / sub-layer 3. Encoder스택의 출력을 통해 multi-head-attention수행

Scaled Dot-Product Attention

- input: Query(Q), Key(K), Value(V) / Query는 물어보는 주체, Key는 반대로 Query에 의해 물어봄을 당하는 주체, Values는 데이터의 값들을 의미

- softmax 함수는 연관성에 대해 확률분포형태로 만들어주는 것이다.

Multi-Head Attention

- 하나의 attention func을 사용하는 것보다, 중간에 값들을 매핑해줘서 각 다른 값들을 입력으로 하는 여러개의 attention func을 만드는 것이 더 효율적이다. 나중에 func들의 출력은 concat되고 다시 linear func을 통해 매핑된다.

- CNN이 여러개의 필터를 통해서 conv output을 구하는 것과 비슷한 효과를 낸다.

Positional Encoding

- sequence 정보를 데이터에 추가해주기 위해 사용하는 기법- 논문에서는 sine과 cosine 함수를 사용한다.

왜 Self-Attention이어야 할까?

1. Sequence length n < Representation dimensionality d 이어야만 complexity가 RNN보다 더 작아지게 됨.

보통 n<d인 경우가 대부분

2. RNN은 input을 순차적으로 받아서 총 n번의 RNN cell을 거치게 되고, self-attention은 input의 모든 position 값을 연결하여 한번에 처리 가능 => parallel system 사용

3. long-range dependencies

input 과 output seq 사이 조합 간 paths가 짧을 수록 long-range dependencies를 더 잘 학습할 수 있다고 한다.

* 결국 transformer는 token을 하나씩 보면서 학습하는 것이 아니라, 전체 문장을 한번에 참조하여 학습할 수 있게한다. 그리고 sequence정보는 따로 positional encoding으로 준다.

[논문리뷰] ViT: Vision Transformer

해드위그 — Wed, 12 Feb 2025 14:05:14 +0900

Intro

* 자연어처리 분야에서 사용하던 Transformer를 Vision 분야에 적용

* 본 논문은 이미지를 여러 패치로 나누어 패치 자체를 단어처럼 보며 CNN에 의존하지 않고, Classification 에 적용

* 데이터가 적은 경우 Resnet보다 성능이 떨어지나, 데이터가 충분한 경우에는 보다 높은 성능을 보임.

-> Inductive Bias가 부족하기 때문

Vision Transformer (ViT)

Transformer의 Encoder 부분을 응용하였다.

Embedding for Transformer

1. 2D 이미지를 1차원으로 변환하기 위해 Patch로 만들어준다.

ex) [300,300,3] -> [100,100,3]*9

2. 각 Patch를 Flatten 작업을 해서 D크기의 벡터로 만들어준다.

3. 각 벡터에 Linear 연산을 거쳐서 임베딩 하도록 해준다.

- 추가적으로 자연어 처리 분야에서 BERT라는 모델에서 사용되는 [Class] 토큰과 비슷하게 Input Embedding 맨 앞에 [Class] Patch를 넣어준다. -> 이후 Transformer Encoder의 출력() 중 맨 앞()에 대응되며, 이는 Classification Head(MLP Head)에 입력으로 들어가 Classification 작업에 사용된다.

- 최종적으로 각 Embedding된 Patch들이 Encoder에 들어가기 전에 학습 가능한 Position Embedding을 더하여 각 Patch Embedding들에 위치에 대한 정보를 추가해준다.

식으로 나타내면 이와 같다.

Inductive Bias

"유도 편향" -> 학습에 사용되지 않은 데이터에 대해서 어떤 것을 예측할 때 정확한 예측을 위해 사용하는 추가적인 가정이라고 볼 수 있다.

Transformer 에서는 Locality와 Translation Equivariance를 제시한다.

Translation Equivariance : 예를 들면, x -> x+t로 입력이 변할 시 f(x) -> f(x+t)로 출력도 동일하게 되는 것이다.
즉, 해당 객체의 위치가 달라져도 동일하게 검출할 수 있도록 하는 것이다.

Locality : 지역적인 특징을 뜻함. CNN에서는 여러 크기의 필터를 사용해 지역적인 정보를 담는다.
ViT는 이미지를 패치로 나누어 작동하고, 한 패치 내부에서만 Fully Connected 형식으로 작동한다.

이러한 이유로 CNN에 비해 Inductive bias가 더 적다고 할 수 있다. => 더 많은 data 필요!

Experiments

모델 별 성능 표

학습한 ViT를 기반으로 모델이 어디에 집중하는 지를 시각화한 것이다.

CNN 아키텍쳐 비교(AlexNet, VGG, GoogleNet, Resnet, SENet)

해드위그 — Wed, 12 Feb 2025 12:02:33 +0900

Preview

CNN 아키텍쳐를 살펴보고, 각각 성능을 높이기 위해 어떤 방식을 활용하였는지 알아보자.

AlexNet

최초의 Large scale CNN
ReLU 처음으로 사용
GPU 2대를 이용하여 빠른 연산 병렬구조

Layer의 수 : 8개
Color image가 input
Data augmentation 사용 : 데이터셋 이미지를 좌우반전 or 잘라서 or RGB값 조정하여 데이터의 수를 늘림
Norm Layer 사용 : batch normalization, 지금은 안쓰임.
필터 크기 : 11*11, stride=4 / 3*3 pooling, stride=2

dropout: 0.5
batch size: 128
SGD Momentum : 0.9
Learning rate : 1e-2
L2 weight decay : 5e-4
7 CNN ensemble : 18.2% -> 15.4%

* VGG, GoogleNet 부터는 layer가 더 깊게 쌓이기 시작함.

VGG

네트워크를 16-19 층까지 쌓아 성능을 높임

Conv, max-pooling 반복되는 구조
Conv: 3*3 filter, stride=1
Max-pool: 2*2, stride=2

* 이전에는 주로 5*5의 필터를 사용한 반면, 3*3의 작은 필터로 파라미터 수를 줄이고 층을 깊게 쌓아서 성능을 향상하였다.

* Layer가 깊어지면서, 다수의 activation func을 통과할 수 있으므로 더 많은 non-linearity를 줄 수 있게 된다.

* padding을 통해 network가 깊어져도 이미지 사이즈를 유지할 수 있다.

GoogleNet

22 layer
"Inception" module
FC Layer X

* Inception module: 같은 입력을 받는 여러 개의 필터들이 병렬적으로 존재 -> 결과를 합침

* 계산량 문제 발생 -> 1*1 Conv layer사용 -> input depth가 줄어드는 효과 "Bottelneck layer"

* 중간 중간 gradient를 넣어 back propagation이 진행되어 gradient vanishing 문제가 발생하지 않도록 함.

Resnet

층이 매우 많은 것이 특징! -> 152 layers
Residual connection으로 degration (성능저하) 해결

* Degradatopm: 네트워크의 구조가 깊으면 깊을수록 어느 순간 그 모델은 학습이 잘 안된다는 것.

* Skip Connection으로 degradation 문제를 해결함

* 기존 layer들은 target data H(x)를 얻는 것이 목적이었으나, residual block은 output에 input data는 x를 더해서 F(x) + x를 최소화하는 것을 목표로 함.

* F(x)를 최소화 한다는 것은 H(x)-x를 0과 가깝게 만들어준다는 뜻, 이때 H(x)-x를 residual이라고 함.(잔차)

* batch normalization

SENet

Squeeze and excitation networks
기존 CNN -> 중요한 정보에 집중할 수 있는 attention기능이 없었음.
attentioni 모듈 : squeeze + excitation 추가하자!

* Squeeze : Global information embedding

- 중요 정보 추출 개념 (Gloval Average Pooling 사용) / channel descriptor로 압축

* Excitation : 중요도 계산하기 / 채널 간 의존성 계산 / FC -> ReLU -> FC -> sigmoid -> 0-1사이로 Attention Score나타냄.

Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields | 논문 리뷰

해드위그 — Tue, 17 Sep 2024 17:14:08 +0900

CVPR 2024.
Shijie Zhou, Haoran Chang, Sicheng Jiang, Zhiwen Fan, Zehao Zhu, Dejia Xu, Pradyumna Chari, Suya You, Zhangyang Wang, Achuta
KadambiUniversity of California | University of Texas at Austin | DEVCOM ARL
6 Dec 2023

Introduction

Feature 3DGS는 3D-GS 프레임워크를 기반으로 한 최초의 feature field distillation(분리!!) 기술을 제안하는 논문이다.

3DGS 프레임워크는 기본적으로 각 Gaussian에서 semantic feature의 joint 학습을 지원하지 않는다. (semantic feature : object 별로 구분된 특징)

본 논문에서는 색상 정보 외에도 각 3D Gaussian의 semantic feature를 학습할 것을 제안하고, 그 후 2D foundation model을 사용한 feature field의 추출을 통해 segmentation을 가능하게 하였다.

Method

High-dimensional Semantic Feature Rendering

3D Gaussian이 radiance field와 feature field를 모두 explicit하게 표현할 수 있도록 하는 high-dimensional segmentic feature 렌더링 및 feature field distillation을 위한 새로운 파이프라인을 도입하였다.

본 논문의 방법은 일반적이며 모든 2D foundation model과 호환될 수 있다.

다양한 종류의 2D foundation model에 대처하기 위해 임의의 크기와 임의의 feature 차원의 2D feature map을 렌더링할 수 있어야 한다.

1. 이를 위해 3DGS의 렌더링 파이프라인을 Structure from Motion을 사용하여 Gaussian을 초기화한다.

2. 기존의 Gaussian 속성에 semantic feature f을 통합한다.

3. feature map의 각 픽셀의 값 Fs를 계산한다.

여기서 N은 주어진 픽셀과 겹치는 정렬된 Gaussian 집합이고, T는 투과율이다.
Fs의 아래 첨자 s는 “student”를 나타내며, 이는 렌더링된 feature가 “teacher” feature FtFt에 의해 픽셀 단위로 supervise됨을 나타낸다.
Ft는 2D foundation model의 인코더를 사용하여 ground truth 이미지를 인코딩하여 얻은 latent 임베딩이다.
본질적으로 미분 가능한 볼륨 렌더링을 통해 대규모 2D teacher model을 작은 3D student explicit 장면 표현 모델로 추출한다고 볼 수 있다.

4. Rasterization 단계에서는 RGB 이미지와 feature map을 독립적으로 rasterization하는 것이 아니라 같이 최적화한다. 이미지와 feature map 모두 동일한 타일 기반 rasterization 절차를 사용한다. 이 접근 방식을 사용하면 feature map의 충실도가 RGB 이미지의 충실도만큼 높게 렌더링되어 픽셀당 정확도가 유지된다.

Optimization and Speed-up

Loss function은 photometric loss와 feature loss의 결합이다.

Ft(I) 는 2D foundation model에서 얻은 ground truth 이미지 I에 대한 feature map이고, Fs(^I) 는 렌더링된 feature map이다.

픽셀당 L1 loss 계산에 대해 동일한 해상도 H×W를 보장하기 위해 bilinear interpolation을 적용하여 Fs(^I)의 크기를 적절하게 조정한다. 실제로 γ=1.0γ=1.0, λ=0.2λ=0.2를 사용한다.

렌더링된 feature map Fs(^I)∈R H×W×N과 teacher feature map Ft(I)∈R H×W×M 사이의 차이를 최소화하기 위해 이상적으로는 N=M 으로 최소화한다. 그러나 2D foundation model의 높은 latent 차원으로 인해 (LSeg는 M=512M=512, SAM은 M=256M=256) 실제로 M은 매우 큰 수이므로, 이러한 고차원 feature map을 직접 렌더링하는 데 많은 시간이 소요된다.

이 문제를 해결하기 위해 rasterization 프로세스 마지막에 속도 향상(speed up) 모듈을 도입한다.

이 모듈은 kernel size 1×11×1로 feature 채널을 업샘플링하는 lightweight convolution decoder로 구성된다.

결과적으로 임의의 N≪M을 사용하여 f∈RN을 초기화하고, 이 학습 가능한 디코더를 사용하여 feature 채널을 일치시키는 것이 가능하다.

이를 통해 다운스트림 task의 성능을 저하시키지 않으면서 최적화 프로세스의 속도를 크게 높일 수 있다.

* Photometric loss
: 입력 이미지와 렌더링 이미지 간 픽셀 값 차이를 손실로 사용

* D-SSIM은 SSIM을 기반으로 한 손실 함수
: 두 이미지의 밝기(픽셀 값 크기), 대비(인접 픽셀간 차이),v구조(픽셀값 분포기반 correlation)를 이용해 두 이미지의 유사도를 계산

Promptable Explicit Scene Representation

구체적으로 저자들은 SAM(Segment Anything model)과 LSeg라는 두 가지 기본 모델을 고려하였다.

Segment Anything model

SAM은 특정 task에 대한 학습 없이도 2D에서 promptable/promptless zero-shot segmentation이 가능하다.

LSeg

LSeg는 zero-shot semantic segmentation에 언어 기반 접근 방식을 도입하였다.

LSeg는 (DPT 아키텍처가 포함된 )이미지 feature 인코더와 CLIP의 텍스트 인코더를 활용하여 텍스트-이미지 연결을 2D 픽셀 레벨로 확장하였다.

본 논문은 추출된 feature field를 사용하여 점, 상자, 텍스트에 의해 프롬프팅되는 모든 2D 기능을 3D 영역으로 확장하였다.

Promptable한 explicit 장면 표현은 다음과 같이 작동한다.

타겟 픽셀과 겹치는 N개의 정렬된 3D Gaussian 중, x에 대한 프롬프트 τ의 activation score는 feature space의 쿼리 q(τ)와 semantic feature f(x) 사이의 코사인 유사도와 softmax로 계산된다.

Score가 낮은 Gaussian들을 필터링 하고, 색상 c(x)와 불투명도 α(x)를 업데이트하여 물체 추출, 물체 제거, 외형 변형 등 다양한 작업을 할 수 있다.

Experiments

Novel view semantic segmentation

Replica 데이터셋 렌더링 성능

Replica 데이터셋 semantic segmentation 성능

Replica 데이터셋&LLFF 데이터셋

novel view semantic segmentation 결과 비교

Segment Anything from Any View

(a) SAM 인코더-디코더 모듈을 novel view 렌더링 이미지에 적용한 결과와

(b) 렌더링된 feature를 직접 디코딩하여 얻은 SAM segmentation 결과를 비교한 것

다음은 NeRF-DFF와 novel view segmentation 결과를 비교한 것이다. (SAM)

Language-guided Editing

NeRF-DFF와 언어 기반 편집 결과를 비교한 것이다.

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering | 논문 리뷰

해드위그 — Wed, 4 Sep 2024 14:18:48 +0900

CVPR 2024.
Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang
School of CS | Huazhong University of Science and Technology 2School of EIC | Huazhong University of Science and Technology | Huawei Inc.
15 Jul 2024

Introduction

본 논문은 움직이는 영상에 대해 scene을 렌더링하는 연구이다.

Gaussian Splatting 기법을 사용한 Dynamic scene 모델링 연구를 통해 피사체가 움직여도 시간의 변화에 따라 자연스럽게 렌더링할 수 있게 한다.

기존의 3D-GS를 사용한 방법들은 입력 이미지를 요구 or 메모리와 트레이닝의 문제가 존재
•3D-GS: 정적인 장면 중점
•Dynamic 3D-GS: 입력 이미지 요구 & 메모리 사용량 증가
•Deformable 3DGS: training 비효율적

본 논문에서 제안하는 방법론에서는 spatial-temporal structure encoder를 사용해 인접한 서로 다른 3D Gaussian들을 연결하여 보다 정확한 움직임과 모양 변형을 예측할 수 있다.

궁극적으로 4D Gaussian Splatting 통해 효율적인 학습 효율성과 실시간 렌더링을 얻을 수 있다.

Method

4D Gaussian Splatting Framework

전체적인 프레임워크를 보자.

4D Gaussian은 Static한 3D Gaussian을 만든 후,

시간에 따른 각 3D Gaussian들의 Position, Rotation, Scaling 변화량을 모델링한다.

이 변화량을 Deformation Field로 표현하고, ( 3D Gaussian을 입력으로) 얼마나 변형시켰는지 대해 다음과 같이 출력하는 것을 확인할 수 있다.

Encoder를 보면 먼저 6가지의 matrix으로 변형되고, 그다음 feature vector로 합쳐지며, MLP를 통과하여 최종 결과 값을 획득하게 된다.

4D-GS rendering process

NeRF기반의 Dynamic Model은 ray위에 point들을 deformation했기 때문에, 각 point의 서로 다른 속도를 잘 모델링하지 못하여 퀄리티 하락이 있다.

4D Gaussian Splatting에서는 각 Gaussian이 ray에 의존하지 않고 서로 다른 속도로 이동이 가능하기 때문에, 시간 t에 따라 Gaussian의 위치가 이동하면 다른 ray를 통해 이동된 Gaussian을 rendering 할 수 있게 된다.

Gaussian Deformation Field Network

Multi-resolution HexPlane으로 3D Gaussian의 spatial, temporal 값을 encoding 한다.

여러개(multi)의 Resolution으로 Rank를 구성하고 이를 MLP의 input의 feature로 사용한 것이다.

i, j에 대한 것은 각 평면의 차원을 의미하고, R은 그 차원으로 구성된 Rank를 의미한다.

interpolation은 타겟 좌표의 주변의 Tensor 값들로 보간(interpolation)한다는 것을 나타낸다.

각 차원에 대해 interpolation한 값을 concat하여 voxel에 대한 feature값으로 만들게 된다. (fx가 뉴럴 복셀에 대한 픽셀임)

위와 같이 모델링하게 되면, 공간상과 시간상의 (x,y평면) 각각 인접한 voxel은 유사한 feature들을 나타내고, 시간상(xt평면)으로 인접한 voxel들은 유사한 feature들을 나타낸다.

3D Gaussian들의 모든 feature들이 인코딩되면, decoder를 사용하여 원하는 변수를 계산할 수 있다.

별도의 MLP를 사용하여 position, rotation, scaling의 변형을 계산하면, 이와 같이 처리됩니다.

최종적으로 변형된 3D Gaussian을 얻을 수 있다.

Optimization

3D Gaussian 스플래터 방법과 동일하게 Structure from Motion(SfM) 포인트 초기화를 통해 학습시켜서 퀄리티를 향상한 뒤,

그 후에 dynamic scene을 fine-tuning형태로 학습시켰다고 한다.

Loss function은 L1 color loss를 사용하고, 그리드 기반 tv loss 도 추가로 적용하였다.

Experiments

[D-NeRF Synthetic Dataset]

RTX 3090 GPU 800 x 800

dynamic scene 데이터셋 이기 때문에 3DGS(3D Gaussian Splatting)의 PSNR은 낮은 것을 볼 수 있으며, 이전 dynamic scene 연구에 비해 퀄리티가 높고, 랜더링 속도가 빠른 것을 볼 수 있다.

rendering speed and numbers of 3D Gaussians

2D Gaussian Splatting for Geometrically Accurate Radiance Fields | 논문 리뷰

해드위그 — Sun, 1 Sep 2024 16:05:12 +0900

SIGGRAPH 2024.
BINBIN HUANG, ZEHAO YU, ANPEI CHEN, ANDREAS GEIGER, SHENGHUA GAO
ShanghaiTech University | University of Tübingen Tübingen AI Center |
9 Jun 2024

3D-GS 방법은 NeRF 보다 유리하지만, pointcloud 의 변형에 가까운 특성상 mesh 로 만드는 것 은 어렵고, 실사용하기엔 무리가 있다.

실사용할 정도의 성능을 내는 2D-GS에 대해 알아보자.

Introduction

3D-GS의 Challenges in Surface Reconstruction

Thin Surface 를 배우기 어렵다.
Surface Normal 을 배우지 않는다. -> high-quality surface 를 reconstruction 할 수 없다.
Multi-View Consistency 가 부족하다. -> 각기 다른 viewpoint 에서 다양한 2D intersection surface 가 발생하는 문제 발생
Affine Projection 이 정확하지 않다.

Perspective-accurate 2D splatting -> 안정적인 최적화 & thin surface 표현 확보

2D Gaussian Splatting

Modeling

Planner disk 형태의 2D Gaussian

본 논문에서 제안하는 방법은, flat한 2D Gaussian(surfels)으로 이루어진 scene 을 학습시키자는 것이다.

2D Gaussian의 구성을 먼저 보면,

[중점 pk, 두개의 tangetial 탄젠셜 vector (tu,tv), 스케일링 벡터, normal 벡터] 로 구성이 되어있다.

2D Gaussian은 local tangent plane P 에서 정의할 수 있으며, 이때 plane P 는 위와 같다.

따라서 uv frame 에서 2D Gaussian 을 위와 같은 standard 2D Gaussian fucntion 으로 표현된다.

Splatting

2D-to-2D Projections in Homogeneous Coordinates

2D GS 의 저자들은 2D Gaussians projection 으로 homogeneous coordinates 를 이용한 일반적인 2D-to-2D mapping 을 사용할 것을 제안한다.

World-to-screen transformation matrix W에 대하여 (2D) 상의 point (x,y) 는 다음과 같은 관계를 갖는다.

이는 camera space 에서의 point (x,y) 에서의 c2w direction ray 가 2D splats 과 depth z에서 교차한다는 의미이다.

Ray-Splat Intersection

따라서 저자들은 ray-splat 의 교점을 3개의 non-parallel plane (uv plane, x-homogeneous plane, y-homogeneous plane) 의 교점을 구하는 방법으로 이를 해결한다.

image coordinate (x,y) 에 대하여,

우리는 ray x=(x,y) 를 두 homogeneous x-plane hx=(−1,0,0,x) 와 y-plane hy=(−1,0,0,y) 사이의 교선으로 정의할 수 있으며, world space 에서 정의된 homogeneous plane hx 와 hy 를 uv-space 상으로 tranform 하여 교점을 구한다.

x, y homogeneous plane 을 uv space 상의로 transform 하여 구한 두 plane hu, hv 은 다음과 같으며,

screen space (x,y) 를 지나는 c2w direction ray 와 2D Gaussian Splats 의 교점은 위와 같이 구할 수 있다.

Ray x와 u,v plane의 교차점도 찾을 수 있다.

Degenerate Solutions

안정적인 최적화와 원활한 렌더링을 위해 Low-pass filter를 기반으로, lower-bounded Gaussian을 취득한다.

Rasterization

누적 불투명도가 최종적으로 1이 될 때까지 다음의 과정을 반복한다.

각 Gaussian에 대해 screen bounding box를 계산한다.
2D Gaussian들을 각 중심점을 depth를 기준으로 정렬한다.
이후 bounding box 기반의 tile 구성
아래 식에 따라 volumetric alpha blending 수행한다.

Training

Depth Distortion

3D-GS 의 volume rendering 은 교차하는 splats 간의 거리 차이를 고려하지 않는다.

그렇기 때문에 널리 퍼진 gaussian splats 들은 비슷한 color와 depth를 가질 수 있으며, 이는 surface reconstruction 을 어렵게 한다.

Ray-splat intersection 간 거리를 최소화하는 loss 제안한다.

W는 Blending weight이다.

Normal Consistency

모든 2D splats이 실제 surface 와 정렬되도록 하는 normal-consistency loss 를 제시한다.

반투명 물체의 잘못된 렌더링으로 normal 값이 일관되지 않는다.
누적 불투명도가 0.5이상 나왔을 때부터, loss를 통해 regularization을 수행한다

Final Loss는 다음과 같다.

Experience

PSNR 자체는 이전 연구에 비해 뛰어나지 않지만, 본 논문의 연구 성능은 정성평가를 했을 때 확연히 보인다.

3D Gaussian Splatting for Real-Time Radiance Field Rendering | 논문 리뷰

해드위그 — Thu, 22 Aug 2024 00:26:24 +0900

SIGGRAPH 2023.
Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis
Inria | Max-Planck-Institut für Informatik
8 Aug 2023

3D scene representation 분야에서 NeRF 보다 성능이 좋고, 요즘 떠오르는 방법인 Gaussian splatting에 대해 알아보자.

요약

3D Gaussian 을 사용하여 scene을 나타냄.
기존의 NeRF 기반 방법보다 더 좋은 성능 -> Rendering speed가 real-time으로 수행될 수 있을 만큼 빠름.

Introduction

NeRF 방법 :
- 3D scene을 continuous scene으로 표현
- volumetric Ray-marching 을 활용하여 MLP를 학습함으로써 3D 공간을 implicit하게 표현
- 최신의 NeRF 모델들은 continuous한 표현을 위해, voxel grid (Plenoxels)나 hash grid (InstantNGP) 혹은 point 내에서 정의된 feature들을 interpolation하는 방식을 사용
- NeRF는 rendering시 각 ray마다 3D point를 stochastic하게 sampling -> training 및 rendering time cost가 큼.

본 논문에서는 Rasterization과 Ray-marching의 장점을 둘 다 가지는 3D Guassian 기반의 모델을 제안한다.

* Rasterization : Mesh와 Point를 이용해 3D 공간의 정보를 2D pixel screend으로 표현 / 3D 공간을 explicit하게 표현

* Ray-marching : 현실에서 물체에 비친 ray를 통해 눈에 상이 맺히는 과정을 묘사하여 3D scene을 최적화

해당 방법은 3가지의 main component로 구성된다.

3D gaussian을 통한 scene representation
- SfM process에서 추출된 point cloud를 초기 initial set으로 활용
- 3D gaussian은 differentiable volumetric representation이 가능
- -blending을 통해 NeRF와 비슷한 image formation model을 활용하여 3D to 2D projection을 효율적으로 수행 가능
3D gaussian properties의 최적화
- 이 방법에서 최적화는 3D gaussian의 3D position, opacity $, anisotropic covariance (gaussian의 shape와 spread), spherical harmonic coefficient (lightening과 shading)에 대한 최적화를 포함
- 위의 특성들을 최적화할때, adaptive density control을 사용하여 gaussian을 추가하거나 제거하는 과정을 거치는데, 이를 통해 compact하고 precise한 representation을 수행 가능
Real-time rendering
- GPU sorting algorithm과 tile-based rasterization을 활용
- Tile-based rasterization은 이미지를 몇 개의 tile block으로 나누어 각 tile을 독립적으로 rendering하여 속도가 빠름
- 3D gaussian representation의 특성 덕분에 각 splat (=gaussian)이 어떤 방향성을 가지게 되는데 (anisotropic splatting), 이러한 3D gaussian들의 shape와 orientation이 2D screen으로 projection될 때 반영되기 때문에 더욱 현실적인 표현이 가능해지고, fast/accurate backward pass 가능

Overview

전체적인 흐름을 먼저 보면,

본 논문의 목표는 sparse한 SfM 점 집합에서 시작하여 고품질의 새로운 뷰를 합성하는 장면 표현을 최적화 하는 것이다.

Initialization : input은 이미지셋과 SfM알고리즘에서 얻어진 point cloud를 사용한다. COLMAP과 같은 SfM알고리즘은 Camera Pose뿐만 아니라 Point Cloud 정보도 같이 얻을 수 있다.

SfM : Structure from Motion?
2차원 영상으로부터 3차원 정보를 추출하여 3D로 재구성하는 (structure = 3D structure, motion = camera pose) 것을 Structure from Motion(SfM)이라 함.

3D Gaussian 정의
- Position (mean): 3D space에서 gaussian의 center point를 의미
- Covariance matrix: Gaussian의 spread를 의미하며, shape을 결정
- Opacity : Gaussian의 투명도를 결정=> 각 gaussian의 directional appearance (color)는 spherical harmonics (SH)를 통해 표현

Spherical harmonics?
원래 양자역학에서 주로 사용되는 방법, Computer graphics 분야에서는 directional appearance (color) 값을 계산할 때 자주 사용되는 방법.
구면 좌표계에서 laplace equation의 해를 표현하는 방법, 최근에는 많은 연구가 이러한 개념을 사용하여 서로 다른 각도에서 light interaction을 고려한 color를 표현하고 있으며, 본 논문도 이 개념을 차용함.

Projection : 3D Gaussian이 (Camera에서 z축으로 거리가 1만큼 떨어진) Image Plane으로 Projection되어 2D Gaussian형태가 된다. 이 과정은 GT 입력 이미지와 비교하여 parameter를 업데이트하기 위함임. (3D 공간의 정보를 2D 이미지로 투영하는 과정)
Differentiable Tile Rasterizer : 미분 가능한형태의 Tile Rasterization을 통해 2D Gaussian들을 하나의 Image로 생성한다.
Gradient Flow : 생성된 이미지와 GT 이미지의 Loss를 계산하고 Loss만큼 Gradient를 전파한다.
Adaptive Density Control : Gradient를 기반으로 Gaussian의 형태를 변화시킨다.

DIFFERENTIABLE 3D GAUSSIAN SPLATTING

본 논문의 저자들은 미분 가능하고, 쉽게 2D projection이 가능한 3D gaussian을 선택하여 $blending을 이용한 빠른 rendering을 가능하게 하였다.

또한, 이전의 방법들이 어떤 planar circle과 normal vector로 2D point를 모델링한 것과 다르게 3D gaussian은 normal vector를 필요로 하지 않기 때문에, sparse한 SfM point로부터 어려운 task인 normal estimation을 하지 않아도 된다.

3D Gaussian Define

각 3D gaussian은 world space에서 covariance matrix 로 정의되며, mean 를 center point로 갖는다.

이 gaussian은 blending 과정에서 가 곱해진다.

아래의 수도코드 기반으로 본 논문의 방법을 알아보자.

첫번째 빨간 박스 부분은 변수를 초기화 하는 부분이다.
두번째 파란 박스 부분은 입력을 받아 inference후, loss를 계산하고, update하는 부분이다.
세번째 초록 박스 부분은 특정 iteration 마다 Gaussian을 remove, clone, split하는 부분이다.

각 부분을 자세히 살펴보자.

Initialization

M,S,C,A는 학습 Parameter에 해당한다.

M은 SfM으로 획득한 Point Cloud을 의미한다. 3D Gaussian은 평균과 공분산으로 구성이 되는데, Point Cloud의 point점들이 초기 3D Gaussian들의 평균값으로 사용된다. -> Point Cloud의 Point 갯수만큼 3D Gaussian이 생성

S는 3D Gaussian의 Covariance Matrix로써, 3x3의 행렬, 논문 수식에서는 Scale Matrix S와 Rotation Matrix R로 구성된 Σ로 나타남.

이렇게 설계된 이유에 대해서 설명하자면, 랜더링을 위해 3D Gaussian이 2D Gaussian으로 Projection 되어질 때 Covariance Matrix가 Positive Definite를 만족하기 위함이다.

3D Gaussian을 2D Gaussian으로 Projection하는 수식

Rendering을 위해서는 3D gaussian을 2D로 projection 시켜야하는데,

viewing transformation 를 통해 camera coordinate에서 2D covariance matrix 를 얻게 된다.

C는 3D Gaussian의 Color값을 의미,

A는 3D Gaussian의 투명도값을 의미하며 단일 실수값이다.

Optimization

1: 정답 이미지 I헷과 해당 이미지의 Camera Pose정보 V를 읽어온다.

2: M(mean=xyz), S(Covariance), C(Color), A(투명도), V(카메라포즈)를 입력으로 받아 Rasterization하여 predicted된 Image를 만든다.

Rasterization : 3D 공간 상에 있는 물체의 형상을 2D 공간 상에 매핑을 하여 표현하는 과정

먼저, 16x16 tile로 쪼갠 후, 각각의 타일에 이미지를 구성하게 되는 Gaussian 덩어리들을 선별하는 과정을 거친다. (선별 시 view frusturm 방법 사용 ex: 너무 가까운 애들 제거)

CUDA에서 병렬적으로 Threading, 각 instance들은 View space depth와 tile ID로 조합하여 (dictionary) key K로 만들게 된다.

Key를 Sort 처리하여 카메라와 가까운 Gaussian을 먼저 그리도록 한다. (연산 효율 높아짐.)

앞쪽부터 뒤쪽까지 훑어가며 이미지 얻어냄.

3: predicted된 이미지와 GT이미지를 비교하여 Loss를 계산, Loss 함수는 L1과 D-SSIM로 설계 되었고, λ는 0.2이다.

4: Adam Optimizer로 M, S, C, A값을 업데이트 한다.

Adaptive Control of Gaussians

Scene에 맞게 3D Gaussian들을 adaptive하게 변형시키는 단계이다.

앞서 언급한 M,S,C,A paramter들은 매 iteration마다 update되지만, 초록색부분은 100 iteration마다 수행된다.

3D Gaussian이 Remove/Split/Clone하게 되는데, 이를 densification한다고 표현한다.

Remove: 특정 threshold(=ε) 보다 낮은 alpha값(=α=투명도)을 가진 Gaussian은 제거된다. 코드상 threshold == 0.005

Remove Gaussian을 단계를 거친 후, under/over - Reconstruction 영역에 대한 처리를 진행하게 된다.

view-space position gradient의 평균 크기(=average magnitude)가 특정 Thresould(=0.0002)이상이 된다면,

Gaussian들을 Clone 또는 Split합니다.

Clone: Under-Reconstruction 영역에 대해서, 작은 크기의 (=covariance가 작은) 3D Gaussian들은 같은 크기로 copy되고, positional gradient의 방향에 배치.

Split: Over-Reconstruction 영역에 대해서, 큰 크기의 (=covariance가 큰) 3D Gaussian들이 작은 Gaussian으로 분해된다. 1개의 Gaussian을 2개의 Gaussian으로 분리하게 되는데, scale을 1.6(=실험적으로 결정한값)으로 나누는 형태로 계산된다.

이때, Gaussian의 갯수가 무작위로 증가하게 되는데, 3000 iteration 마다 alpha 값을 0으로 초기화 해준다.

주기적으로 alpha 값이 0으로 초기화 되면서 큰 크기의 Gaussian들이 중첩되는 케이스를 제거해준다.

M,S,C,A를 Optimization하는 단계에서 100 iteration동안 alpha값은 0이 아닌 값으로 바뀌게 되며, 100 iteration후에 Gaussian Densification단계에서 Remove Gaussian연산을 통해 원치 않는 값들이 제거된다.

=> 전체 Gaussian 조절에 큰 역할을 하는 전략임.

Evaluation

Mip-NeRF360은 A100 4장을 사용하였고, 나머지는 A6000을 사용했다고 한다. FPS는 랜더링 시간을 의미한다.

3D Gaussian Splatting을 Instant-NGP와 비교하였을 때, Train속도가 비슷하나, PSNR이 높고, 무엇보다도 랜더링 속도가 매우 빠르다.

Limitations

입력 이미지가 부족한 Sparse Scene에서 artifact가 발생하게 된다.

현재 본 논문에서 제시한 알고리즘은 어떤 regularization도 도입할 수 없다고 한다.

NeRF기반 solution보다 상당히 높은 메모리 사용량을 가진다.