아롱이 탐험대

기존의 ensemble 같은 경우에는 연산 시간이 매우 오래 걸린다는 단점이 있다. 따라서 이 논문에서는 ensemble을 single model로 이전하는 방법을 탐색하였고, 이 과정을 distilling이라고 부른다. NN (Neuron Network)은 좋은 알고리즘이지만 예전 논문들의 layer만 보더라도 regularization 과정 없이 Fully-connect 된 node들을 많이 접할 수 있었다. 이 같은 경우에는 모든 node들이 연결되어 있어 over fitting 문제에 매우 취약했다. 따라서 이를 해결하기 위해 ensemble이라는 모델을 사용한다. 이는 input을 여러 NN으로 받고, 이를 합쳐 output으로 내는 방법이다. ensemble의 종류는 다양하지만 Ann ense..

Neural Turing Machine에 대해 알아보기 전 Turing Machine에 대해 먼저 알아야 된다. Turing machine의 실제 모습은 위 이미지와 같고 이를 간단하게 구조화시키면 아래 이미지와 같다. Turing machine는 read, write에 집중하는 구조이고, 명령어를 통해 head를 좌우로 이동하면서 부호를 쓰거나 지울 수 있다. 하지만 discrete 한 점에서 backpropagation 즉 미분이 불가능하다. NTM (Neural Turing Machine)은 무엇일까? 간단하게 요약하자면 training을 할 수 있는 machine이다. 따라서 Differentable turing machine이라고도 부른다. 즉 미분이 가능한 computer이고, back pro..

해당 논문은 2016년 서울대 computer vision lab에서 지난 시간에 다루었던 SRCNN를 보완한 super resolution using deep learning에 관한 내용이다. 논문의 저자는 SRCNN에서 부족했던 3가지를 언급하며 이를 해결한 방법을 설명한다. Context SRCNN와 달리 해당 논문의 network인 VDSR에서는 large receptive field를 사용하여 넓은 image resion에 있는 다양한 정보들을 이용하여 높은 scale의 image에서도 안정적으로 작동하였다. Convergence residual learning과 초기값이 10^4인 높은 learning rate를 사용하여 기존 network보다 훨씬 빠른 Convergence를 달성하였다. r..

해당 논문은 정확히 Backbone Network에 관한 논문이 아닌 Backbone Network의 성능 향상을 위해 Microsoft Asia Team에서 발췌한 논문이다. 우리는 늘 size가 fix 되어 있는 layer를 사용한다. 이 논문에서는 이것이 너무 비효율적이고, 다양한 예외 상황이 발생해 정확성을 낮출 것이라는 발상으로 연구를 시작하였다. 따라서 이를 Nueron Network를 통해 학습된 flexible 한 layer로 제작하여 문제를 해결하였다. 만약 이미지가 주어진다면 해당 이미지 뿐만 아니라 회전한 이미지, 반전된 이미지 등 수많은 변형된 이미지들 또한 같은 레이블에 속한다. 하지만 이렇게 변형된 이미지들을 network가 판단하기 위해서는 2가지 문제점이 발생한다. 1. 레이..

EfficientNet과 매우 연관성이 큰 논문임으로 https://ys-cs17.tistory.com/30에 이어서 봐주길 바란다. EfficientDet은 2019년 11월 논문이 발표되었으며, EfficientNet과 같은 저자의 논문이고 이 저자들의 소속은 구글 브레인 팀이다. EfficientDet은 sota를 기록한 object detection 네트워크이다. 동급의 네트워크 예를 들어 amebaNet-based Nas-FPN과 같은 높은 ACC를 기록한 네트워크와 비교하자면 파라미터 크기의 있어 매우 효율적인 네트워크이다. 실 세계에서는 로봇, 모바일과 같이 효율적인 파라미터 값들을 갖는 네트워크가 필요하다. 지금까지 나온 효율적인 object detection network들도 많지만 이 ..

해당 논문은 MNasNet의 저자인 Mingxing Tan과 Quoc V.Le가 쓴 논문이고, 2019년 CVPR에서 발표되었다. ResNet의 residual block의 등장 이후로 CNN은 2가지 성향으로 발전하고 있다. 이는 정확도만 높이는 방향과 비슷한 정확도를 가지고 효율성을 높이는 방향이다. EfficientNet은 네트워크의 이름과 마찬가지로 정확도와 효율성을 높인 놀라 온 네트워크이다. EfficientNet은 ResNet기반이고, 정확히 말해 base network는 MNasNet을 사용한다. 모델의 구조를 설명하기에 앞서 네트워크의 성능을 높이는 방법은 크게 3가지이다. 1. Depth: layer의 수를 늘리는 방법 2. Width: network의 channel을 증가시키는 방법 ..

YOLOv3: An Incremental Improvement Joseph Redmon, Ali Farhadi University of Washington 1. Introduction YOLOv3는 YOLO9000 (YOLOv2)에서 조금 수정한 버전이라고 생각하면 된다. YOLOv3는 2018년도에 나왔는데 이 당시 나왔던 RetinaNet보다는 성능면에서 좋지 않았지만 속도 방면에서는 더 좋은 모델이다. 심지어 YOLOv3는 SSD보다 약 3배가 더 빠르다고 한다. 이런 측면에서 YOLOv3는 매우 효율적인 모델이라고 정의할 수 있다. 또한 아직까지도 자주 사용되고 있는 모델이라는 점과 구현되어 있는 코드들이 많다는 점이 장점이다. YOLOv3를 보기 전 YOLOv1과 YOLOv2를 꼭 보고오길 바란..

YOLO9000: Better, Faster, Stronger Joseph Redmon∗†, Ali Farhadi∗† University of Washington∗ , Allen Institute for AI† http://pjreddie.com/yolo9000/ 1. Introduction 저번에 리뷰하였던 YOLO 즉 YOLOv1에 이어 성능과 속도 측면에서 모두 향상시킨 YOLO9000 (YOLOv2)에 대해 알아보자. 우선 기존 YOLO, faster r-cnn 그리고 SSD는 모두 real time에 적용가능한 network이다. 하지만 여전히 정확도 (mAP) 측면에서는 부족한 감이 존재한다. YOLOv2에서는 정확도와 속도를 향상시킴으로써 이를 보완한다. 이름에서 보셨다싶이 YOLOv2는 Y..