MahalanobisAD는 정상 이미지들의 feature를 multivariate Gaussian(MVG) 분포에 fitting 시켜서 정상성을 정의합니다. 이 때, feature는 ImageNet 데이터셋으로 pretrain한 CNN 모델에 이미지를 통과시켜 추출합니다. 그리고 테스트 이미지와 multivariate Gaussian(MVG) 분포 사...

이번 포스트에서는 semantic segmentation 모델인 DeepLabV1과 DeepLabV2를 함께 리뷰해 보려고 합니다. 먼저 DeepLabV1은 LC Chen et al. 2016에서 제안된 모델인데요. DeepLabV1을 자세히 알아보기 전에, 대표적인 선행 연구인 Fully Convolutional Network(FCN)과의 차이점을 ...

fully convolutional network 구조 이미지 classification 모델로 널리 알려진 AlexNet, VGGNet 같은 모델의 구조를 생각해보면, 몇 개의 convolution + pooling layer를 반복적으로 거친 뒤에 그 결과로 얻은 feature map을 fully connected layer를 연결합니다. 이와...

이번 포스트에서는 ResNet, Vision Transformer, SWIN Transformer, ConvNeXt 모델로 이미지를 분류하고, GradCam을 이용해 class activation map을 시각화하는 예제를 공유하고자 합니다. 전체 코드는 링크에서 확인하실 수 있습니다. 각 모델에 대한 자세한 설명은 이전 포스트를 참고해 주세요! ...

Introduction semantic segmentation은 image classification의 연장선에 있다고 볼 수 있습니다. 우리가 흔히 알고 있는 image classification은 이미지 단위 classification이고, semantic segmentation은 픽셀 단위 classification이기 때문입니다. 이런 연유로...

이번 포스트에서 자주 등장하는 모델과 용어에 대한 설명은 아래 포스트를 참고해 주세요! Vision Transformer Swin Transformer inductive bias Introduction 2012년 AlexNet이 computer vision의 새 시대를 연 뒤로, 지난 10년간 vision recognition은 f...

Swin Transformer는 선행 연구인 Vision Transformer처럼 vision 분야에 Transformer 구조를 적용한 모델입니다. Swin Transformer를 소개하기에 앞서, Vision Transformer와의 주요 차이점을 살펴보면 다음과 같습니다. 논문을 리뷰해 보면서 아래 차이점들이 구체적으로 의미하는 바가 무엇인지 알...

머신러닝 분야에서 inductive bias란 학습 시 보지 못했던 주어진 입력에 대해 모델이 출력을 예측할 때 사용하는 일련의 가정을 의미합니다. 대부분의 vision task들은 CNN의 sliding window 방식으로 인해 내재된 inductive bias에 오랫동안 의존해 왔는데요. Vision Transformer는 이 부분이 결여돼 ...

Introduction Transformer가 NLP 분야의 새로운 표준으로 떠오르면서, Transformer를 vision 분야에도 적용하려는 다수의 연구가 진행되었습니다. 하지만 전체적인 CNN 구조를 유지한 모델이 많았는데요. 본 논문에서 제안하는 Vision Transformer는 기존 Transformer의 구조를 최대한 바꾸지 않고 높은 ...

Introduction sequence modeling 관점에서 RNN과 Transformer를 비교해보면 다음과 같이 정리할 수 있습니다. Challenges with RNNs Transformer Networks 멀리 떨어진 단어들 간의 의존성을 학습하기 어려움 ...