아롱이 탐험대

1. Motivation 위 논문은 2020년도 ICLR에서 나온 논문이다. 논문의 저자는 이전 Deep SVDD 저자와 같다. 또한 내용도 매우 흡사해 이전 논문을 먼저 공부한 후 해당 논문을 보는 것을 추천한다. https://ys-cs17.tistory.com/50 (Deep One-Class Classification [Deep SVDD] 리뷰) 해당 논문을 요약하자면 기존 SVDD의 수식을 약간 변형시켜 Semi-Supervised learning에 활용하였다. 여기서 Semi-Supervised learning이란 label이 있는 데이터와 label이 없는 데이터 둘 다 딥러닝 모델에 넣어 학습시키는 방법을 의미한다. 2. Relation Work A. Information Bottlenec..

1. Motivation 위 논문은 18년도 ICML 학회에서 나온 논문이다. 이전까지의 Anomaly detection 분야는 주로 SVM (Support Vector Machine)과 SVDD (Support Vector Data Description)과 같은 전통적인 방법을 통해 해결하였다. 이 논문은 Anomaly detection을 SVDD에 기반으로 딥러닝을 적용하였다. 2. Relation works Deep One-Class Classification에서 등장하는 가장 중요한 이론인 Deep SVDD를 이해하기 위해서는 SVDD에 대한 사전 지식이 필요하다. SVDD를 간단하게 요약하면 feature space에서 정상에 해당하는 데이터를 둘러싸는 Hypersphere를 찾고, 해당 Hyp..

OVERVIEW 오늘 알아볼 논문 SSGAN (Self-Supervised GANs via Auxiliary Rotation Loss) 은 2018년 11월 구글 브레인에서 나온 논문이고, self-supervised learning에서 GAN을 접목시킨 논문 중 시작점을 알린 논문이다. SELF-SUPERVISION self-supervision는 비 지도 학습 방법 중 하나로 기본적으로 이미지의 라벨링 없이 진행한다. 이미지 라벨링은 인력 소비가 매우 큰 작업으로 시간뿐 만 아니라 비용도 매우 크게 든다. (현재 그린 뉴딜 뭐시기 하면서 데이터 일자리 창출이 라벨링 하는 것이다.) 또한 self-supervision는 다양한 딥러닝 분야 중 컴퓨터 비전 분야에서 만 사용하고, self-supervis..

OVERVIEW 의료, 기계 등의 분야에서 Anomaly detection (비정상 데이터 탐지)는 매우 중요하다. 현재 몇 회사들은 인공 지능을 활용해 기계의 결함을 분석한다든지, 의료 데이터를 활용해 환자의 질병을 도출하는 기술들을 개발 중이다. 하지만 위와 같은 데이터들은 몇 가지 문제점들이 있다. (1) 정상 데이터에 비해 비정상 데이터의 양은 현저히 낮다. (2) 모든 이미지 데이터를 라벨링 하기에는 큰 인력이 필요하다. (3) 이미지 전체의 특징 활용도가 낮다. 이외에도 몇 가지 문제점들이 존재하는데, 이 문제점들을 해결하고자 이 논문이 등장하게 되었고, 저자는 이 논문의 제목처럼 unsupervied learning (비 지도 학습)과 GAN을 사용하였다. 간략히 설명하자면 여기서 Unsup..

OVERVIEW 컴퓨터 비전에는 다양한 분야가 존재한다. 오늘 소개할 VAE는 generative 모델들에게 많은 영향을 끼쳤고, 나는 anomaly detection 분야에 관심이 생겨 VAE를 알게 되었다. 물론 2014년에 나온 논문이라 현재는 쓰이지 않지만 classification의 resnet과 같이 학습용으로 읽기는 좋은 논문이라 분석을 하게 되었다. 조만간 auto-encoder 계열의 anomaly detection 모델에 대해 공부해볼 생각이다. 물론 회사에 일이 없어야 되겠지만... 아무튼 VAE는 Neural Network와 mathematical 하게 등등 다양한 관점에서 해석할 수 있어 분석하는 관점마다 다양한 reference가 존재한다. 그만큼 좋은 분석 글 또한 많다. 우리..

현재 딥러닝을 주도하고 있는 분야는 자연어 처리 분야 및 컴퓨터 비전 분야입니다. 보통 자연어 처리는 RNN, LSTM 등을 기반으로 모델이 형성되고, 컴퓨터 비전은 CNN 기반으로 모델이 형성이 됩니다. 하지만 최근 들어 Attention, Transformer 등 자연어 처리에서만 사용되던 메커니즘이 컴퓨터 비전 분야에서도 활용이 되면서 더 이상 컴퓨터 비전 분야에서 CNN을 사용하지 않는 추세로 변화하고 있습니다. 오늘 살펴볼 Attention 기법도 NLP 분야에서 먼저 사용되었던 기법이지만, 이를 CNN에 접목시켜 SE-NET 등 다양한 Attention 기반 CNN 모델들이 탄생하게 되었습니다. Attention 메커니즘이란 Attention 메커니즘을 이해하기 전에 지금까지 우리가 사용해왔던..

1. anomaly detection 방법론 (1) One-class classification 처음 살펴볼 방법은 one-class classification이다. 이 방법은 의료 분야에서 많이 쓰인다. 공장을 예를 들어보자. 공장에서 나온 제품들은 대부분 결함이 존재하지 않는다. 따라서 정상 제품 대비 비정상 (결함) 제품을 찾기가 힘들다. 데이터 분류를 위해서는 각 클래스에 해당하는 데이터가 균일하게 분포되어야 한다. 하지만 이러한 상황에서는 불균형이 생기게 된다. 이를 해결하고자 결함 이미지를 수집하는 것은 시간이 오래 걸린다. 따라서 정상 이미지만 가지고 정상인지 비정상인지 판단하는 one-class classification 방법이 나오게 되었다. one-class classification은..

해당 리뷰는 https://kh-kim.github.io/blog/2019/12/12/Deep-Anomaly-Detection.html 내용을 참고하여 작성하였습니다. 컴퓨터 비전 분야에 있어 대부분의 딥러닝 기법들은 Supervised learning 기반으로 학습을 진행한다. Supervised learning은 데이터 관리와 모델 선정을 적절하게 조정하면 매우 좋은 성능을 도출할 수 있다. 하지만 Supervised learning 학습 진행 시 사용되는 모든 학습 데이터에는 label이 mapping 되어 있어야 하고, 이 과정은 많은 시간과 노동이 필요하다. 또한 특정 task에서는 label이 존재하지 않을 수도 있다. 따라서 이 단점들을 보완하고자 Unsupervised learning과 같..