아롱이 탐험대

Gaussian models Multivariate Gaussian 또는 MVN (Multivariate Normal)은 연속적인 데이터에 대한 joint probability density function에서 사용하며, D 차원의 MVN에 대한 PDF는 다음과 같이 정의한다. $$ \mathcal N(x|{\mu,\Sigma})\triangleq\frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}}\exp\left[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right] $$ exponential 안 수식은 featrue $x$와 mean vector $\mu$ 사이의 차이를 나타내는 mahalanobis distance로, $\Sigma$에 대해 eigen dec..

Naive Bayes Classifiers 이제부터는 discrete-valued feature인 $x\in\{1,\dots,K\}^D$를 어떻게 분류할 것인지 알아보자. 어기서 $K$는 각 feature의 value 개수이고, $D$는 feature의 개수이다. 우리는 generative approach를 사용할 것이고, 이를 위해 class conditional distribution인 $p(x|y=c)$를 지정해야 한다. 가장 간단한 approach는 feature들이 주어진 class label에 대해 conditionally independent라고 가정하는 것이다. 이를 통해 class conditional density를 다음과 같이 1-D density의 곱으로 쓸 수 있다. $$ p(x|..

Online Learning Machine learning에는 크게 batch learning과 online learning이 존재한다. 만약 데이터 1000만 개가 존재할 때 batch learning은 이를 한 번에 넣어서 학습을 진행하는 반면, online learning은 1~5000, 5001 ~ 10000 이런 식으로 나누어 학습을 진행한다. online learning에서 고려해야하는 점은 항상 결과가 같은지 다른지 이다. batch learning의 posteior는 위에서 정의한 수식과 같다. 하지만 online learning의 경우에는 약간의 차이가 있다. 데이터가 $D_{a}, D_{b}$로 나뉘었다고 가정을 하면 posterior는 아래 수식으로 표현된다. $$ p(\theta \..

Introduction Discrete classification은 크게 Discriminative approach와 Generative approach로 나뉜다. Discrimitive approach $$ p(y = c \mid x, \theta) $$ 어떠한 model $\theta$가 주어졌을 때, feature vector $x$를 통해 $y=c$인 class를 추론하는 것으로 대표적으로 Linear regression과 Logistic regression이 있다. Generative approach $$ p(y=c|x,\theta)\propto p(x|y=c,\theta)p(y=c|\theta) $$ 수식은 discrimitive approach와 같지만, 해당 식을 이용하여 바로 추론하는 것..

Data load를 제외한 모든 Linear Regression의 과정들을 python과 numpy만을 사용하여 구현해보았습니다. 개념에 대한 전체적인 내용은 아래 포스트를 참고하시기 바랍니다. https://ys-cs17.tistory.com/73 Code implementation Normalization weight-height.csv 파일을 DataFrame으로 만든 후 해당 함수를 통해 normalization을 진행합니다. 1. Min max normalization def min_max_normalize(df): x = (df['Weight'] - min(df['Weight'])) / (max(df['Weight']) - min(df['Weight'])) y = (df['Height'] - ..

Introduction Probabilistic classifier의 목적은 어떠한 label에 대해 확률 적으로 추론하는 것이다. Generative approach는 $p(y,x)$의 joint model을 찾은 후, vector $x$의 조건에 따라 $p(y \mid x)$를 구했다. Discriminative approach는 $p(y \mid x)$를 바로 구하기 위해 model을 fitting 하는 과정이다. 이번 챕터에서는 parameter인 $w^{T}, x$가 linear한 discrimitive model이라는 것을 가정할 것이다. 이렇게 하면 model fitting 과정을 단순화할 수 있다. Model specification 본격적으로 logistic regression formu..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. OVERVIEW Anomaly detection의 목표는 비슷하게 생긴 객체들 사이에서 다른 객체를 탐지하는 것이다. 고전 적인 machine learning의 개념에서 기계가 학습이 가능하다고 말하는 것은 어떠한 task T에 대해 얼마나 학습을 잘하는지를 측정하는 performance measure P가 있을 때, 충분한 경험, 즉 데이터 E를 제공해주면 P가 상승된다는 것이다. Unsupervised learning에서 우리는 주어지는 데이터에 대한 distribution을 추정하거나, 데이터 간 cluster를 찾거나, 데이터 간 association을 분석하는 것들을 각각의 node..

Linear regression은 supervised learning에서 많이 사용되고, 앞에서 살펴보았던 kernel이나 basis expansion 등을 이용해 Non-linear relationship을 가진 model을 만들 수 있었다. 우리는 아래 수식과 같이 parameter들을 주로 Gaussian을 사용하여 modeling을 진행했었다. $$ \text{Linear regression model:}\ \ p(y\mid {x}, {\theta}) = \mathcal{N}(y\mid w^{T}x, \sigma^{2}) $$ $$ \text{Non-linear regression model:}\ \ p(y\mid {x}, {\theta}) = \mathcal{N}(y\mid w^{T}x\phi(..