아롱이 탐험대

해당 리뷰는 https://kh-kim.github.io/blog/2019/12/12/Deep-Anomaly-Detection.html 내용을 참고하여 작성하였습니다. 컴퓨터 비전 분야에 있어 대부분의 딥러닝 기법들은 Supervised learning 기반으로 학습을 진행한다. Supervised learning은 데이터 관리와 모델 선정을 적절하게 조정하면 매우 좋은 성능을 도출할 수 있다. 하지만 Supervised learning 학습 진행 시 사용되는 모든 학습 데이터에는 label이 mapping 되어 있어야 하고, 이 과정은 많은 시간과 노동이 필요하다. 또한 특정 task에서는 label이 존재하지 않을 수도 있다. 따라서 이 단점들을 보완하고자 Unsupervised learning과 같..

기존의 ensemble 같은 경우에는 연산 시간이 매우 오래 걸린다는 단점이 있다. 따라서 이 논문에서는 ensemble을 single model로 이전하는 방법을 탐색하였고, 이 과정을 distilling이라고 부른다. NN (Neuron Network)은 좋은 알고리즘이지만 예전 논문들의 layer만 보더라도 regularization 과정 없이 Fully-connect 된 node들을 많이 접할 수 있었다. 이 같은 경우에는 모든 node들이 연결되어 있어 over fitting 문제에 매우 취약했다. 따라서 이를 해결하기 위해 ensemble이라는 모델을 사용한다. 이는 input을 여러 NN으로 받고, 이를 합쳐 output으로 내는 방법이다. ensemble의 종류는 다양하지만 Ann ense..

Neural Turing Machine에 대해 알아보기 전 Turing Machine에 대해 먼저 알아야 된다. Turing machine의 실제 모습은 위 이미지와 같고 이를 간단하게 구조화시키면 아래 이미지와 같다. Turing machine는 read, write에 집중하는 구조이고, 명령어를 통해 head를 좌우로 이동하면서 부호를 쓰거나 지울 수 있다. 하지만 discrete 한 점에서 backpropagation 즉 미분이 불가능하다. NTM (Neural Turing Machine)은 무엇일까? 간단하게 요약하자면 training을 할 수 있는 machine이다. 따라서 Differentable turing machine이라고도 부른다. 즉 미분이 가능한 computer이고, back pro..

서론 저에 대한 소개를 하자면 2019년도 3학년 1학기부터 컴퓨터 비전 관련 학부 연구생에 들어가 약 6개월 동안 인턴 생활 후 현재 회사에서 딥러닝 개발자로 산업기능요원을 하고 있습니다. 학부 연구생을 시작하기 전 딥러닝에 관한 지식은 1도 없는 상태였고, python 또한 학교에서 배운 적이 없습니다. 연구실에서는 cuda와 tensorflow 설정, 우분투 익히기만 2주 동안하다가 지쳐서 pytorch로 딥러닝을 시작하였습니다. 솔직히 말해 딥러닝에 관한 아무런 지식 없이 딥러닝 공부 목적으로 학부 연구생에 들어가는 것은 비추합니다. 혼자서도 충분히 공부하면 배울 수 있고, 무엇보다 대부분의 석박사 연구원분들은 논문 작성과 프로젝트로 매우 바쁘셔서 여러분들을 봐줄 시간이 거의 없습니다. 제가 본격..

해당 논문은 2016년 서울대 computer vision lab에서 지난 시간에 다루었던 SRCNN를 보완한 super resolution using deep learning에 관한 내용이다. 논문의 저자는 SRCNN에서 부족했던 3가지를 언급하며 이를 해결한 방법을 설명한다. Context SRCNN와 달리 해당 논문의 network인 VDSR에서는 large receptive field를 사용하여 넓은 image resion에 있는 다양한 정보들을 이용하여 높은 scale의 image에서도 안정적으로 작동하였다. Convergence residual learning과 초기값이 10^4인 높은 learning rate를 사용하여 기존 network보다 훨씬 빠른 Convergence를 달성하였다. r..

Review 이번 시간에는 지난번에 이어서 trained weight를 가지고 detect 하는 code를 작성해보자. 전체 코드 https://github.com/yunseokddi/pytorch_dev/blob/master/facial_age_classifier/EfficientNet_ver/detect.py detect 코드 자체는 크게 matplotlib, opecv, pillow를 통해 output image에 대한 결과를 시각화할 수 있다. 이번 시간에는 opecv를 통해 detect 결과에 대해 출력해보자. detect.py import torch import cv2 import argparse from efficientnet_pytorch import EfficientNet parser =..

PREVIEW 이번 시간부터 본격적인 CNN 학습을 할 것이다. 우리는 classification을 위해 2019년 State-of-art를 달성한 EfficientNet을 사용하여 사람의 얼굴에 대해 나이 인식기를 제작할 것이다. 우선 EfficientNet에 대해 알아야 할 필요가 있다. 아직 EfficientNet에 대해 알지 못하는 사람은 아래 링크를 통해 참고하길 바란다. https://ys-cs17.tistory.com/30 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks 분석 해당 논문은 MNasNet의 저자인 Mingxing Tan과 Quoc V.Le가 쓴 논문이고, 2019년 CVPR에서 발표되었다. Res..

해당 논문은 정확히 Backbone Network에 관한 논문이 아닌 Backbone Network의 성능 향상을 위해 Microsoft Asia Team에서 발췌한 논문이다. 우리는 늘 size가 fix 되어 있는 layer를 사용한다. 이 논문에서는 이것이 너무 비효율적이고, 다양한 예외 상황이 발생해 정확성을 낮출 것이라는 발상으로 연구를 시작하였다. 따라서 이를 Nueron Network를 통해 학습된 flexible 한 layer로 제작하여 문제를 해결하였다. 만약 이미지가 주어진다면 해당 이미지 뿐만 아니라 회전한 이미지, 반전된 이미지 등 수많은 변형된 이미지들 또한 같은 레이블에 속한다. 하지만 이렇게 변형된 이미지들을 network가 판단하기 위해서는 2가지 문제점이 발생한다. 1. 레이..