아롱이 탐험대

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. Feature selection Feature selection은 가지고 있는 변수 중 의미 있는 일부분의 변수를 추출하는 것이다. 원본의 변수를 치환 또는 변환을 하지 않는다. Exhaustive Search 가장 쉽게 생각할 수 있는 feature selection 기법은 exhaustive search가 있다. 이는 가능한 모든 조합에 대해 탐색을 하여 feature selection을 진행하는 방법이다. $$ x_{1}, x_{2},x_{3} $$ 만약 위와 같이 3개의 변수가 있다면, 이에 해당하는 모든 조합은 아래와 같이 총 7가지가 된다. $$ (x_{1}), (x_{2}),(x..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. Support Vector Data Description based Anomaly detection (SVDD) SVDD는 앞서 살펴본 SVM과 동시대에 만들어진 알고리즘이다. SVDD는 SVM과는 달리 hyper sphere를 찾는 것이 목표이고, 이를 위해 sphere의 중심점인 $a$와 반지름인 $R$을 찾아, 정상 데이터를 해당 sphere안에 몰아넣는 것을 목적으로 한다. 여기서 sphere 밖에 있는 데이터에 대해서는 $\xi$라는 패널티를 줄 것이다. 위 그림 오른쪽을 통해 1-SVM과 SVDD의 차이를 볼 수 있다. Optimization function $$ \min_{R, ..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. Auto-Encoder for Anomaly Detection Auto-Encoder 기법은 이미지에서는 CNN을 사용하고, time-series나 text 데이터에 대해서는 RNN 기반으로 사용한다. 이를 모두 관통하는 원칙은 Neural Net을 학습하는 데 있어 input data를 최대한 reconstruction 하여 output data와 비슷하게 만드는 것이다. $$l(f(\mathbf{x})) = \frac{1}{2}\sum_{k}(\hat{x}_{k}-x_{k})^{2} $$ AE (Auto-Encoder)의 basic loss function은 위와 같이 정의되고, 여기서 ..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. 1. Distance-based anomaly detection Distance 기반 anomaly detection은 outlier에 해당하는 객체들은 이웃들과의 거리가 멀 것이라고 가정한다. 이 말은 즉슨 정상 데이터는 근처에 다른 데이터들이 많을 것이라는 것이다. 여기서 핵심은 Normal class에 대해 확률 분포를 가정하지 않는다. 오직 객체 간의 거리만 계산해서 anomaly socre를 측정한다. KNN based Anomaly Detection을 알아보기 전 KNN에 대해 알아보자. KNN traing set에서 주어진 test input $x$와 가장 가까운 $K$개의 po..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. Kernel density estimation 앞서 설명한 Gaussian density estimation, MOG density estimation은 parametric appoach이다. 이는 특정한 parameter를 갖는 distribution을 가정한 상태에서 주어진 data를 해당 distribution에 끼어 맞추는 방법이다. 이를 통해 data들에 대한 평균과 공분산 행렬을 추정한다. Kernel density estimation은 data가 특정한 distribution으로부터 estimation 되었다는 가정을 하지 않고, Data 자체로부터 sampling 될 확률을 추..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. Gaussian Density Estimation Density 기반의 anomaly detection의 목적은 abnormal data의 2번째 관점에 맞춰져 있다. 이는 먼저 정상에 대한 데이터의 분포를 먼저 추정한 후 이 분포에 대해 새로운 데이터가 들어오는데, 해당 데이터가 생성될 확률이 높으면 정상으로 판별하고, 낮으면 비정상으로 판별한다. 위 그림에서는 데이터의 생성 확률 분포가 Gaussian이라고 가정한다. 새로운 데이터가 들어왔을 때, Gaussian distribution의 $\mu$와 가깝게 생성이 된 경우라면 정상이라고 가정하고, 빨간색 데이터와 같이 일정 확률 이하에서..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. LOF (Local Outlier Factor)는 밀도 기반 이상치 탐지의 방법론 중 하나이다. 위 plot을 보면 $C_{1}$ 부근 영역은 상대적으로 밀도가 낮은 영역이고, $C_{2}$ 부근 영역은 상대적으로 높은 밀도를 가지고 있다. 여기서 $o_{1}$의 경우는 누가 봐도 이상치에 해당하는 값이다. 하지만 $o_{2}$의 경우에는 neighborhood와의 거리가 짧은 곳에 위치해 있다. 초록색 원이 $o_{3}$라고 할 때 $o_{2}$의 neighborhood 간 거리가 $o_{3}$의 neighborhood 거리보다 더 클 것이다. 따라서 이 2개만 비교하면 $o_{2}$는 a..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. OVERVIEW Anomaly detection의 목표는 비슷하게 생긴 객체들 사이에서 다른 객체를 탐지하는 것이다. 고전 적인 machine learning의 개념에서 기계가 학습이 가능하다고 말하는 것은 어떠한 task T에 대해 얼마나 학습을 잘하는지를 측정하는 performance measure P가 있을 때, 충분한 경험, 즉 데이터 E를 제공해주면 P가 상승된다는 것이다. Unsupervised learning에서 우리는 주어지는 데이터에 대한 distribution을 추정하거나, 데이터 간 cluster를 찾거나, 데이터 간 association을 분석하는 것들을 각각의 node..