PaDiM은 이미지를 patch 단위로 쪼개어 분석하는 모델입니다. pre-trained CNN model을 사용해서 각각의 patch에 해당하는 embedding vector를 생성하고, 이 embedding vector를 통해 각각의 patch를 multivariate Gaussian ditribution으로 표현하는 것이 PaDiM의 차별점입니다...
K-nearest neighbor 방식은 이미지 자체가 정상인지 혹은 비정상인지는 잘 판단하지만, 이미지 내 어느 부분이 비정상인지를 잘 설명하지 못합니다. 본 논문에서는 이러한 한계점을 극복하기 위해 Gallery 라는 개념을 사용합니다. Gallery는 정상 이미지의 pixel feature들을 저장해두는 일종의 저장소인데요. Gallery에 저장...
MahalanobisAD는 정상 이미지들의 feature를 multivariate Gaussian(MVG) 분포에 fitting 시켜서 정상성을 정의합니다. 이 때, feature는 ImageNet 데이터셋으로 pretrain한 CNN 모델에 이미지를 통과시켜 추출합니다. 그리고 테스트 이미지와 multivariate Gaussian(MVG) 분포 사...
이번 포스트에서는 semantic segmentation 모델인 DeepLabV1과 DeepLabV2를 함께 리뷰해 보려고 합니다. 먼저 DeepLabV1은 LC Chen et al. 2016에서 제안된 모델인데요. DeepLabV1을 자세히 알아보기 전에, 대표적인 선행 연구인 Fully Convolutional Network(FCN)과의 차이점을 ...
fully convolutional network 구조 이미지 classification 모델로 널리 알려진 AlexNet, VGGNet 같은 모델의 구조를 생각해보면, 몇 개의 convolution + pooling layer를 반복적으로 거친 뒤에 그 결과로 얻은 feature map을 fully connected layer를 연결합니다. 이와 ...
이번 포스트에서는 ResNet, Vision Transformer, SWIN Transformer, ConvNeXt 모델로 이미지를 분류하고, GradCam을 이용해 class activation map을 시각화하는 예제를 공유하고자 합니다. 전체 코드는 링크에서 확인하실 수 있습니다. 각 모델에 대한 자세한 설명은 이전 포스트를 참고해 주세요! ...
Introduction semantic segmentation은 image classification의 연장선에 있다고 볼 수 있습니다. 우리가 흔히 알고 있는 image classification은 이미지 단위 classification이고, semantic segmentation은 픽셀 단위 classification이기 때문입니다. 이런 연유로...
이번 포스트에서 자주 등장하는 모델과 용어에 대한 설명은 아래 포스트를 참고해 주세요! Vision Transformer Swin Transformer inductive bias Introduction 2012년 AlexNet이 computer vision의 새 시대를 연 뒤로, 지난 10년간 vision recognition은 f...
Swin Transformer는 선행 연구인 Vision Transformer처럼 vision 분야에 Transformer 구조를 적용한 모델입니다. Swin Transformer를 소개하기에 앞서, Vision Transformer와의 주요 차이점을 살펴보면 다음과 같습니다. 논문을 리뷰해 보면서 아래 차이점들이 구체적으로 의미하는 바가 무엇인지 알...
머신러닝 분야에서 inductive bias란 학습 시 보지 못했던 주어진 입력에 대해 모델이 출력을 예측할 때 사용하는 일련의 가정을 의미합니다. 대부분의 vision task들은 CNN의 sliding window 방식으로 인해 내재된 inductive bias에 오랫동안 의존해 왔는데요. Vision Transformer는 이 부분이 결여돼 ...