🌍 Hello World :D

Intro* ViT 기반으로 만들어진 백본이다.* Swin Transformer = Vit + 1.계층적구조 + 2. shift window 라고 할 수 있다. * window 안에서만 attention연산을 한 후, 각각 window끼리 attention 연산을 하는 형태이다. Method전반적인 구조는 위와 같다.Networkinput: H x W x 3의 해상도 이미지가 입력으로 들어가고, 겹치지 않게 각각의 이미지 패치를 나눔stage 1: Transformer 학습을 위해 사용자가 정의한 C차원으로 매핑해줌(Linear Embedding), 여기서 2개로 구성 된 swin transformer block으로 입력되어 동일한 차원으로 출력됨 (H/4*W/4*C)stage 2: Patch Mergi..

Intro* 자연어처리 분야에서 사용하던 Transformer를 Vision 분야에 적용* 본 논문은 이미지를 여러 패치로 나누어 패치 자체를 단어처럼 보며 CNN에 의존하지 않고, Classification 에 적용* 데이터가 적은 경우 Resnet보다 성능이 떨어지나, 데이터가 충분한 경우에는 보다 높은 성능을 보임.-> Inductive Bias가 부족하기 때문Vision Transformer (ViT)Transformer의 Encoder 부분을 응용하였다. Embedding for Transformer1. 2D 이미지를 1차원으로 변환하기 위해 Patch로 만들어준다. ex) [300,300,3] -> [100,100,3]*92. 각 Patch를 Flatten 작업을 해서 D크기의 벡터로 만들어준..

PreviewCNN 아키텍쳐를 살펴보고, 각각 성능을 높이기 위해 어떤 방식을 활용하였는지 알아보자.  AlexNet최초의 Large scale CNNReLU 처음으로 사용GPU 2대를 이용하여 빠른 연산 병렬구조Layer의 수 : 8개Color image가 inputData augmentation 사용 : 데이터셋 이미지를 좌우반전 or 잘라서 or RGB값 조정하여 데이터의 수를 늘림Norm Layer 사용 : batch normalization, 지금은 안쓰임.필터 크기 : 11*11, stride=4 / 3*3 pooling, stride=2dropout: 0.5batch size: 128SGD Momentum : 0.9Learning rate : 1e-2L2 weight decay : 5e-47..