🌍 Hello World :D

Introimage segmentation이란 물체의 경계를 윤곽선으로 표시하여 해당 물체가 있는 위치를 개별 찾아냄or Object  etection으로부터 이미지 속 여러 영역에 개별 레이블을 지정하는 테스크Sem antic Segmentation :입력된 이미지의 모든 단일 픽셀에 해당 콘텐츠를 설명하는 클래스 레이블을 할당하는 것 Image classification 모델의 수정을 통해 구현! ➡ FCN에서 시작됨 ➡ DeepLab, FastFCN 등FCN : Fully Convolutional Networks기존 classification 모델들은 출력층이 fully-connected layer -> 이미지 위치 정보 사라짐 & 입력 이미지 크기고정segmentation에서는 원본 이미지의 각 ..

Intro객체 탐지 Object Detection은 영상 속의 어떠한 객체 Label가 어디에 (x,y) 어떤 크기로 (w,h) 존재하는지를 찾는 Task이다.Base가 될 기본적인 모델에 대해 정리 및 요약, 비교이다.R-CNN R-CNN은 region proposals와 CNN이 결합된 Regions with CNN의 약자 R-CNN은 이전까지 최고의 성능을 나타낸 기법의 mAP보다 30% 높은 53.3%를 달성 2012년 image classification challenge에서 AlexNet이 큰 성공 → object detection에서도 CNN을 활용한 연구가 진행 → 그 결과물이 R-CNN(object detection 분야에 적용하기 위해 region proposals와 CNN을 결합) 두..

Intro* ViT 기반으로 만들어진 백본이다.* Swin Transformer = Vit + 1.계층적구조 + 2. shift window 라고 할 수 있다. * window 안에서만 attention연산을 한 후, 각각 window끼리 attention 연산을 하는 형태이다. Method전반적인 구조는 위와 같다.Networkinput: H x W x 3의 해상도 이미지가 입력으로 들어가고, 겹치지 않게 각각의 이미지 패치를 나눔stage 1: Transformer 학습을 위해 사용자가 정의한 C차원으로 매핑해줌(Linear Embedding), 여기서 2개로 구성 된 swin transformer block으로 입력되어 동일한 차원으로 출력됨 (H/4*W/4*C)stage 2: Patch Mergi..

Intro* RNN을 사용하지 않고 Attention만으로 Seq2Seq 구조를 구현한 모델* 기존 모델들은 RCC or CNN에 기초, encoder에서 입력 seq을 vector로 압축할 때 일부 정보가 손실되기 때문에 보정을 위해 Attention을 사용하는 형태였다.* Attention만으로 encoder&decoder를 만들어보자!* 논문에 따르면, 이 모델은 병렬처리가 가능하고, 학습 시간이 훨씬 덜 소요된다 Attention MachanismSequence-to-Sequence Recurrent model은 Sequence순으로 데이터가 입력되는데, 이전 데이터의 hidden state ht">ht가 다음 데이터의 hidden state ht+1">ht+1를 구할 때 사용된다. 즉, 어떠한 ..

Intro* 자연어처리 분야에서 사용하던 Transformer를 Vision 분야에 적용* 본 논문은 이미지를 여러 패치로 나누어 패치 자체를 단어처럼 보며 CNN에 의존하지 않고, Classification 에 적용* 데이터가 적은 경우 Resnet보다 성능이 떨어지나, 데이터가 충분한 경우에는 보다 높은 성능을 보임.-> Inductive Bias가 부족하기 때문Vision Transformer (ViT)Transformer의 Encoder 부분을 응용하였다. Embedding for Transformer1. 2D 이미지를 1차원으로 변환하기 위해 Patch로 만들어준다. ex) [300,300,3] -> [100,100,3]*92. 각 Patch를 Flatten 작업을 해서 D크기의 벡터로 만들어준..

PreviewCNN 아키텍쳐를 살펴보고, 각각 성능을 높이기 위해 어떤 방식을 활용하였는지 알아보자.  AlexNet최초의 Large scale CNNReLU 처음으로 사용GPU 2대를 이용하여 빠른 연산 병렬구조Layer의 수 : 8개Color image가 inputData augmentation 사용 : 데이터셋 이미지를 좌우반전 or 잘라서 or RGB값 조정하여 데이터의 수를 늘림Norm Layer 사용 : batch normalization, 지금은 안쓰임.필터 크기 : 11*11, stride=4 / 3*3 pooling, stride=2dropout: 0.5batch size: 128SGD Momentum : 0.9Learning rate : 1e-2L2 weight decay : 5e-47..

CVPR 2024.Shijie Zhou, Haoran Chang, Sicheng Jiang, Zhiwen Fan, Zehao Zhu, Dejia Xu, Pradyumna Chari, Suya You, Zhangyang Wang, AchutaKadambiUniversity of California | University of Texas at Austin | DEVCOM ARL6 Dec 2023 IntroductionFeature 3DGS는 3D-GS 프레임워크를 기반으로 한 최초의 feature field distillation(분리!!) 기술을 제안하는 논문이다.3DGS 프레임워크는 기본적으로 각 Gaussian에서 semantic feature의 joint 학습을 지원하지 않는다. (semantic f..

CVPR 2024.Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang WangSchool of CS | Huazhong University of Science and Technology 2School of EIC | Huazhong University of Science and Technology | Huawei Inc. 15 Jul 2024 Introduction본 논문은 움직이는 영상에 대해 scene을 렌더링하는 연구이다.Gaussian Splatting 기법을 사용한 Dynamic scene 모델링 연구를 통해 피사체가 움직여도 시간의 변화에 따라 자연스럽게 렌더링할 ..

SIGGRAPH 2024.BINBIN HUANG, ZEHAO YU, ANPEI CHEN, ANDREAS GEIGER, SHENGHUA GAOShanghaiTech University | University of Tübingen Tübingen AI Center | 9 Jun 2024 3D-GS 방법은 NeRF 보다 유리하지만, pointcloud 의 변형에 가까운 특성상 mesh 로 만드는 것은 어렵고, 실사용하기엔 무리가 있다.실사용할 정도의 성능을 내는 2D-GS에 대해 알아보자. Introduction3D-GS의 Challenges in Surface Reconstruction Thin Surface 를 배우기 어렵다.Surface Normal 을 배우지 않는다. -> high-quality su..

SIGGRAPH 2023.Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George DrettakisInria | Max-Planck-Institut für Informatik8 Aug 2023 3D scene representation 분야에서 NeRF 보다 성능이 좋고, 요즘 떠오르는 방법인 Gaussian splatting에 대해 알아보자. 요약3D Gaussian 을 사용하여 scene을 나타냄.기존의 NeRF 기반 방법보다 더 좋은 성능 -> Rendering speed가 real-time으로 수행될 수 있을 만큼 빠름.IntroductionNeRF 방법 :- 3D scene을 continuous scene으로 표현- volumetric Ray-m..