아롱이 탐험대

지난 시간 loss function과 gradient descent에 이어서 설명하겠다. input과 weight를 곱해 bias를 더한 후 loss function을 통과하여 loss를 구하는 과정을 computation graph를 통해 시각적으로 표현하였다. 여기서는 max function을 이용하여 total loss를 구하였다. computation graph는 눈으로 보기에는 이해하기 쉽고 간단하지만, 계산적인 측면에서는 수만수억 개의 뉴런을 모두 이렇게 계산하기에는 많은 한계점들이 존재한다. 아래는 2020년 기준으로 잘 사용하지는 않지만 유명했던 network들이다. 간단한 예시의 module을 살펴보자. 우선 왼쪽에서 오른쪽 방향으로 가는 것을 FP(forward path)라 하고, 한국..

SSD: Single Shot Multibox Detector -Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg- 1. Introduction 이전 분석하였던 YOLO는 real time에 적용할 수 있는 object detector model이다. 하지만 YOLO는 input을 7*7 grid로 나눈 후 각 grid 별로 bounding box prediction을 진행하기 때문에 grid보다 작은 물체를 detecting하기에 힘든 점이 있다. 또한 맨 마지막 output은 convolution과 pooling 과정을 거친 후 마지막에 남은 feature만을 ..

lecture 3에서는 lecture 2에 이어서 loss function과 optimization에 대해 리뷰하겠다. 우선 이번 챕터에서는 유명한 loss function인 SVM과 softmax에 대해 설명한다. 지난 시간에 이어서 input에 weight를 곱하고, bias를 더함으로써 3개의 label에 대해 loss를 결과 값을 구하였다. 이 결괏값들을 loss function을 통해 loss를 도출하게 되는데 우선 처음 알아볼 loss function는 SVM이다. SVM은 위와 같이 정의되며 첫 번째 cat에 대한 loss는 계산을 하면 2.9가 된다. car에 대한 loss는 0이다. flog가 10.9으로써 loss가 가장 크고, 이는 인식률이 별로 좋지 않다는 것을 의미한다. 또한 fu..

본 정리에 앞서 현재 cs231n은 3 회독을 했지만 마지막 Lecture까지는 보질 못했다. 이번 기회에 다시 처음부터 cs231n을 공부하며 기본기를 다지려고 한다. https://www.youtube.com/watch?v=3QjGtOlIiVI&list=PL1Kb3QTCLIVtyOuMgyVgT-OeW0PYXl3j5를 보며 공부하며 리뷰하였고, 어느 정도 deep learning에 대해 안다고 가정하고 글을 작성하겠다. 만약 밑바닥부터 시작하는 딥러닝을 안 봤으면 먼저 이 책을 본 후 cs231n을 공부하길 바란다. 본인은 처음부터 cs231n을 보며 공부를 하다가 한동한 힘들었다. (cs231n은 스탠퍼드 대학원 강의입니다.) Lecture 1은 기본적인 오리엔테이션이니 시간이 남을 경우 보는 것을 ..

You Only Look Once: Unified, Real-Time Object Detection -Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi- 1. Introduction 저번 시간 분석하였던 Faster R-CNN에서는 real time에서 적용하기 힘든 단점이 있었다. 하지만 오늘 분석해볼 YOLO는 real time에 적용할 수 있는 속도를 갖고, 기존 real time에 적용시킨 network보다 약 2배정도 성능이 좋다. 기존 R-CNN network들은 two stage method였지만 YOLO는 one stage method이다. 또한 기존 network들은 주로 여러 객체를 탐지할 때 이미지에서 각 객체를 분할하여 탐지하였..

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks -Shaoqing Ren∗ Kaiming He Ross Girshick Jian Sun- 1. Introduction 지금까지 Faster R-CNN을 이해하기 위해 R-CNN, Fast R-CNN, VGG16에 대해 분석을 했다. 크게 보면 Fast R-CNN과 Faster R-CNN의 구조는 처음 특정 region을 찾는 단계에서 차이가 있다. 기존 Fast R-CNN에서는 Selective search를 사용하여 이 과정에서 약 2초 정도 delay가 생겨 real time에는 적용하기 힘들었다. 하지만 Faster R-CNN에서는 이 과정을 보완하고자 새롭게..

Very Deep Convolution Networks For Large-Scale Image Recognition (VGG16) -Karen Simonyan, Andrew Zisserman- 1. Introduction Faster-RCNN을 분석하기 앞서 여기서 쓰이는 네트워크 모델인 VGG16을 먼저 공부하고 분석할 필요가 있어 VGG NET을 먼저 분석하겠다. 우선 해당 네트워크는 2014년 image net image recognition contest에서 google net에 밀려 2위를 했던 네트워크이다. (정확히는 VGG19이다.) google net의 네트워크 구조는 매우 복잡한 방면 VGG16은 사용하기 간단하고, 다른 네트워크에 변형하기도 쉬우며 성능적인 면에서도 나쁘지 않아 다른 논..

Fast R-CNN -Ross Girshick Microsoft Research- 1. Introduction 지난 시간 R-CNN논문에 이어 이번에는 더욱 향상된 network인 Fast R-CNN에 대해 분석을 하겠다. 우선 기존 R-CNN에서는 몇 가지의 단점들이 존재를 했는데 Fast R-CNN에서는 이 problems들이 존재했는지 한번 보자 1) 기존 R-CNN에서는 CNN part에서 Alex net을 그대로 사용했기 때문에 pixel size를 224*224로 warping하는 과정에서 이미지 손실이 생긴다. 2) Selective search를 통해 나온 2000개의 region image를 모두 CNN에 넣기 때문에 시간적인 측면에서 효율성이 아주 낮다. 3) Selective sear..