Image Segmentation 모델 정리(FCN, DeepLab, U-Net)

Intro

• image segmentation이란 물체의 경계를 윤곽선으로 표시하여 해당 물체가 있는 위치를 개별 찾아냄
• or Object  etection으로부터 이미지 속 여러 영역에 개별 레이블을 지정하는 테스크
• Sem antic Segmentation :입력된 이미지의 모든 단일 픽셀에 해당 콘텐츠를 설명하는 클래스 레이블을 할당하는 것
• Image classification 모델의 수정을 통해 구현! ➡ FCN에서 시작됨 ➡ DeepLab, FastFCN 등

FCN : Fully Convolutional Networks

• 기존 classification 모델들은 출력층이 fully-connected layer -> 이미지 위치 정보 사라짐 & 입력 이미지 크기고정
• segmentation에서는 원본 이미지의 각 픽셀에 대해 class  구분 &  instance 및 배경 분할 테스크 수행 -> 이미지의 위치 정보 매우 중요 
• 모든 FC-layer를 Conv-layer 대체 하자! :  Fully connected layer를 1x1 convolution 층으로 바꿈
• but, conv만을 이용한 FCN의 출력은 너무 coarse함. (디테일하지 못함. <-> dense) -> dense map으로 전환 필요
• end-to-end 학습 : 처음부터 끝까지, 하나의 모델이 학습함.

DeepLab

Atrous Convolution

• 기존 conv 와 다르게 필터 내부에 빈 공간을 둔 채로 작동
• 빈 공간을 얼마나 둘지 경정하는 파라미터 rate가 1일 때는 기존 conv와 동일하고, rate가 커질 수록 빈공간이 늘어남.
• 기존 conv와 동일한 양의 파라미터와 계산량을 유지하면서 한 픽셀이 볼 수 있는 영역 = field of view를 크게 할 수 있게됨.
  • 보통 높은 성능을 위해서는, cnn의 마지막에 존재하는 한 픽셀이 입력값에서 어느 크기의 영역을 커버할 수 있는 지를 결정하는 receptive field의 크기가 중요하게 작용함.
  • Atrous conv를 활용하면, 파라미터 수를 늘리지 않으면서, receptive field를 크게 키울 수 있음!

• VGG16을 사용함
• pooling을 이용할 경우 해상도 낮아지고, 불변성 때문에 공간정보의 손실 -> localization의 정확도 떨어짐.
• atrous conv를 썼을 때 결과의 feature map이 더 크기 때문에 원본이미지로 복원(업샘플링) 할 때도 수월 -> segmentation의 성능을 높일 수 있음.

 

U-NET

• 의학 이미지 segmentation을 위해 개발된 U 형태의 모델
• 빠른 속도 : 이미지를 인식하는 단위(patch)에 대한 overlap 비율이 적음 / 기존의 sliding window 방식은 이전 patch에서 검증이 끝난 부분을 다음 patch에서 다시 검증하여 연산을 낭비 -> U-NET에서는 중복 검증 X
• Context와 Localization 관계 극복 : 클래스 분류를 위한 인접 문맥 파악(context)와 객체의 위치 판단(Localization)을 동시에 수행해야 함. -> patch의 크기가 커지면 더 넓은 이미지 한번에 인식 가능으로 context에 효과적 VS 많은 max-pooling으로 localization 성능 저하 (trade-off 관계) -> U-NET은 다층의 laye의 output을 동시에 검증해 극복

Architecture

Contracting Path

• encoder 역할 수행 하는 부분, Conv Net으로 구성
• input->feature map으로 변형해 이미지의 context 파악
• 점진적으로 Spatial dimension을 줄여가며 고차원의 semantic 정보를 convolution filter가 추출해낼 수 있게 됨.
• Contracting Path의 앞단에 이미 잘 학습된 모델을 Backbone으로 사용해 학습 효율과 성능을 높일 수 있으며, 주로 ResNet 등의 모델을 사용함.

 

Expanding Path

• Decoder의 역할 수행, Upsampling+Conv Net으로 구성
• Convolution 연산을 거치기 전, Contracting Path에서 줄어든 사이즈를 다시 복원(Upsampling) 
• Contracting을 통해 얻은 Feature Map을 Upsampling하고, 각 Expanding 단계에 대응되는 Contracting 단계에서의 Feature Map과 결합해서(Skip-Connection Concatenate) 더 정확한 Localization을 수행
• encoder에서 spatial dimension 축소로 인해 손실된 spatial 정보를 점진적으로 복원하여 정교한 boundary segmentation을 완성
• Multi-Scale Object Segmentation을 위해 DownSampling과 UpSampling을 순서대로 반복하는 구조

* 회색 선이 중요함!

-> spatial 정보를 복원하는 과정에서 feature map 중 동일한 크기를 지닌 feature map을 가져와 prior로 활용

-> 더 정확한 boundary segmentation이 가능해짐