Detection 모델 정리(RCNN, Fast RCNN, Faster RCNN, SSD, YOLO)

Intro

• 객체 탐지 Object Detection은 영상 속의 어떠한 객체 Label가 어디에 (x,y) 어떤 크기로 (w,h) 존재하는지를 찾는 Task이다.
• Base가 될 기본적인 모델에 대해 정리 및 요약, 비교이다.

R-CNN

• R-CNN은 region proposals와 CNN이 결합된 Regions with CNN의 약자
• R-CNN은 이전까지 최고의 성능을 나타낸 기법의 mAP보다 30% 높은 53.3%를 달성
• 2012년 image classification challenge에서 AlexNet이 큰 성공 → object detection에서도 CNN을 활용한 연구가 진행 → 그 결과물이 R-CNN(object detection 분야에 적용하기 위해 region proposals와 CNN을 결합)
• 두 가지의 중요한 아이디어 결합

(1) region proposals로 object 위치를 알아내고, 이를 CNN에 입력하여 class를 분류

- 물체가 있을 법한 영역을 제안해주는 단계

• selective search 기법을 사용해서 이미지에서 object의 위치를 추출한다.
• selective search는 다음과 같은 프로세스로 이루어짐.
  • • 이미지의 초기 세그먼트를 정하여, 수많은 region 영역을 생성
    • greedy 알고리즘을 이용하여 각 region을 기준으로 주변의 유사한 영역을 결합
    • 결합되어 커진 region을 최종 region proposal로 제안
• 이미지에 selective search를 적용하면 2000개의 region proposal이 생성되는데, 이들을 CNN의 입력 사이즈(227x227)로 warp(resize) 하여 CNN에 입력한다. 논문에서는 warp 과정에서 object 주변 16 픽셀도 포함하여 성능을 높였다.

(2) Larger data set으로 학습된 pre-trained CNN을 fine-tunning

 

Method

1. 입력 이미지에 Selective Search 알고리즘을 적용하여 bounding box(region proposal) 2000개를 추출한다.
2. 추출된 bounding box를 warp(resize)하여 CNN에 입력한다.
3. fine tunning 되어 있는 pre-trained CNN을 사용하여 bounding box의 4096차원의 특징 벡터를 추출한다.
4. 추출된 특징 벡터를 SVM을 이용하여 class를 분류한다.
5. bounding box regression을 적용하여 bounding box의 위치를 조정한다.

문제점

• R-CNN은 비효율성을 지니고 있다.
• 하나의 이미지에 2000개의 region이 존재할 때, R-CNN은 각각의 region마다 이미지를 cropping 한 뒤 CNN 연산을 수행하여 2000번의 CNN 연산을 진행하게 된다.
• → 연산량이 많아지고 detection 속도가 느리다는 단점
• 이 단점이 개선된 Fast R-CNN, Faster R-CNN이 등장

 

Fast R-CNN

• R-CNN의 단점인 매우 느린 속도를 개선한 논문
• 차이점은 CNN을 병렬로 수행하느냐, 순차적으로 수행하느냐 라고 할 수 있음.
• Fast R-CNN에서는 해당 영역(초록색 박스)의 Feature를 원본 이미지에서 추출(Crop)하는 것이 아니라 Feature Map단에서 추출 -> 입력 이미지마다 단 한번의 CNN만을 수행하면 됨.

RoI(Region of Interest) Pooling

: feature map에서 region proposals에 해당하는 **관심 영역(Region of Interest)**을 지정한 크기의 grid로 나눈 후 max pooling을 수행하는 방법

- 각 channel별로 독립적으로 수행
- 고정된 크기의 feature map을 출력하는 것이 가능

1. 먼저 원본 이미지를 CNN 모델에 통과시켜 feature map을 얻음
  800x800 크기의 이미지를 VGG 모델에 입력하여 8x8 크기의 feature map을 얻음.
 이 때 sub-sampling ratio = 1/100이라고 할 수 있음 (여기서 말하는 subsampling은 pooling을 거치는 과정을 의미) 2. 그리고 동시에 원본 이미지에 대하여 Selective search 알고리즘을 적용하여 region proposals를 얻음.
  원본 이미지에 Selective search 알고리즘을 적용하여 500x700 크기의 region proposal을 얻음
3. 이제 feature map에서 각 region proposals에 해당하는 영역을 추출: 이 과정은 RoI Projection을 통해 가능.   
  Selective search를 통해 얻은 region proposals는 sub-sampling 과정을 거치지 않은 반면, 원본 이미지의 feature map은 sub-sampling 과정을 여러 번 거쳐 크기가 작아졌음.
  작아진feature map에서 region proposals이 encode(표현)하고 있는 부분을 찾기 위해 작아진 feature map에 맞게 region proposals를 투영해주는 과정이 필요.
  이는 region proposal의 크기와 중심 좌표를 sub sampling ratio에 맞게 변경시켜줌으로써 가능.
   -> Region proposal의 중심점 좌표, width, height와 sub-sampling ratio를 활용하여 feature map으로 투영시켜줍니다.
   -> feature map에서 region proposal에 해당하는 5x7 영역을 추출
4. 추출한 RoI feature map 5x7 크기의 영역을 지정한 sub-window 2x2 크기에 맞게 grid를 나눠줌
5. grid의 각 셀에 대하여 max pooling을 수행하여 2x2 크기의 feature map을 얻음

 

=> 하지만 Fast R-CNN에서 Region Proposal을 CNN Network가 아닌 Selective search 외부 알고리즘으로 수행하여 병목현상 발생

 

Faster R-CNN

• Fast R-CNN은 영역을 제안하기위해 Selective Search라는 알고리즘을 사용하는데, 이는 GPU 내에서 연산을 수행하는 것이 아닌 CPU에서 작동하기 때문에 병목이 발생하게 됨.
• 영역을 제안(Region Proposal)하는 것도 CNN 내부에서 수행을 하여(=GPU를 이용가능) 네트워크를 빠르게 만들자는 아이디어에서 출발

Method

1. 입력 이미지를 CNN에 통과시켜 Feature Map을 얻는다.

2. 그리고 해당 Feature Map을 Region Proposal Network의 입력으로 사용하여 초록색 Box 영역을 뽑아내게 된다.

3. 그렇게 뽑아낸 영역을 기존 Feature Map에서 추출하여 해당 영역을 RoI Pooling을 수행한다.

4. FC Layer를 통해 Classification과 Regression을 수행하게 된다.

5. Fast R-CNN과 다른점은 영역을 제안할 때, RPN이라는 CNN 기반의 네트워크를 사용하는 것

=> GPU에서 동작할 수 있어 빠름 / 전체 네트워크내에 포함되어 End-to-End 구조

 

RPN : Region Proposal Network

• faster r-cnn의 핵심이라고도 할 수 있음.
• RPN의 입력은 input image로부터 CNN을 통과한 Feature Map이다.
• 위 그림처럼 7x7 크기의 Feature Map이 있을 때, 3x3크기의 커널 크기로 sliding window방식으로 모든 격자 셀 마다 서로 다른 크기의 k개 Anchor box를 정의해준다.
• Anchor box와 GT box의 차이를 regression으로 예측하므로 다양한 predict box가 나오게 된다.
•  Encoder로부터 (Channel, 7, 7)의 Feature Map을 3x3 Conv에 Padding을 1로 주어 (256, 7, 7) 크기로 만든다.
• 물체가 존재하는지 하지 않는지를 예측하는 Classification을 수행하기 위해 1x1 Conv로 2(배경/전경) * 9(anchors) = 18 채널로 만들고, BBox의 좌표를 예측하는 Regression을 수행하기 위해 1x1 Conv로 4(x,y,x,h) * 9(anchors) = 36채널을 만들게 된다.
• 이를통해, 각 Grid(7x7) 별로 9개 Anchor의 Class와 좌표값 예측을 수행하게 된다.

=> 겹치거나 작은 사물에 대한 인식률 높음 / 단점은 느림, 애초에 실시간 테스크를 생각하고 만든 네트워크는 아님.

 

SSD

• RCNN 계열의 2-stage detector는 region proposals와 같은 다양한 view를 모델에 제공
• → 높은 정확도 but, region proposals를 추출하고 이를 처리하는 과정에서 많은 시간 소요 → detection 속도가 느리다.
• SSD는 다양한 view를 활용하면서 통합된 network 구조를 가진 1-stage detector → 높은 정확도와 빠른 속도
• 크게 2가지 구성: Multi Scale Feature Layer & Default (Anchor) Box

Multi Scale Feature Layer

• image scale 수행시 window사이즈는 고정해두고 수행 -> multi object를 효과적으로 detect하기 어렵고 detect에 문제가 많게 됨.
• 원본 이미지가 아니라 다른 크기의 feature map을 이용한다면, 정보를 유지할 수 있지 않을까? - 아이디어!
• 예를 들어 32x32 같은 큰 feature map은 8x8에 비해 비교적 작은 object들을 잘 detect할 수 있게 된다.

Default Box

• Region proposal로만 default box를 사용하지 말고 그냥 object detection에 바로 활용하자는 아이디어

구체적으로 저런 고양이 강아지 사진이 있을 때, 8x8에서는 2번째 그림과 같이 anchor box들이 구축되는데, 고양이 부분에서 파랗게 표시된 부분이 바로 GT와 매칭된 anchor box를 의미하게 된다. 매칭 기준은 IOU 50% 이상을 기준으로 판별.
반면 8x8에서는 강아지가 detect되지 않지만 4x4에서는 detect되는 것을 확인할 수 있다.
이 매칭 박스 정보로 classification을 수행하며 이 매칭 박스는 GT와 가까워지기 위해 계속 offset 값을 계산하면서 Bbox regression을 수행!

 

=> 단점 Data augmentation 의존도가 매우 큼.(작은 object의 성능 향상을 위해) : 특정 IOU 기준으로 filter해서 sampling해서 다시 ratio 맞추는 등 복잡한 방법의 augmentation을 사용함.

 

YOLO : You Only Look Once

• One stage detector을 시작함.
• 기본적으로 setting하는 것은 cell 단위로 이미지를 나누는 것
• 7x7 grid로 나누게 되고 각 grid의 cell이 하나의 obejct에 대한 detection을 수행하게 됨.
• 구체적으로는 각 grid cell이 2개의 bounding box의 후보를 도출하게 되고, 그 bbox들을 실제 ground truth에 근사시키면서 학습을 수행.

Method

1. 우선 input image를 입력할 때 backbone 네트워크로는 VGG가 아닌 Inception-v1 (googlenet) 네트워크 기반으로 동작을 수행

- Googlenet의 대표적인 특징으로는 1x1 convolution layer를 사용한다는 것이 특징 -> feature map의 수를 줄여주어 연산량을 줄여주는 효과

2. backbone을 통과하고 나면, 2개의 dense layer를 거치게 되는데, 이들은 classification과 regression을 수행하기 위해 적용되는 layer

3. 2개의 dense layer를 거쳐 구성된 "7x7x30" 의 feature map을 구축

4. 이들의 information을 활용해서 Bbox regression과 object detection의 예측을 수행하고 이 결과를 바탕으로 네트워크를 업데이트

 - 7x7x30의 정보를 활용한다는 것 : 7x7x30의 feature map에서 cell 하나를 뽑게 되면, 그 cell 하나는 30의 depth / cell 당 2개의 Bbox를 가지게 되는데 그 Bbox의 좌표 값과 confidence score를 가지고 있음.

 

=> 빠르지만  detection 정확도가 높지는 않음/ 뒤로 version 여러개 계속 나옴.