아롱이 탐험대

Central limit theorem 각각 평균 $\mu$와 분산 $\sigma^{2}$ 에 대한 probability density function인 $p(x_{i})$를 갖는 $\text{R.V.}$에 대해 생각해보자. 각 variable이 independent이고, i.i.d. (identically distributed)라고 가정하자. $S_{N} = \sum_{i = 1}^{N}X_{i}$은 random variable의 합이고, 이는 간단하지만 널리 사용되는 random variable의 transformation이다. N이 증가할수록, S_{N}의 distribution은 아래 식과 가까워진다는 것을 알 수 있다. 다시 말해, 주어진 조건에서 N이 증가할수록 Gaussiam distribu..

Multivariate Gaussian Multivariate이란 다차원이라는 말이다. R.V. $\text{x}$가 다차원일 때 Gaussian distribution은 아래 수식과 같이 구한다. 크게 틀은 달라지지 않는다. $\mu = \mathit{\mathbb{E}}[\text{x}] \in \mathit{\mathbb{E}}^{D}$ is the mean vector. D차원의 $\text{x}$의 평균값 $\sum = \text{cov[\text{x}]}$는 $D \times D$ 크기의 covariance matrix이다. parameter의 개수는 우리가 어떤 covariance matrix를 사용하냐에 따라 다르다. (1) Full covariance: 행렬이 대칭적이기 때문에 $\fra..

이번 시간에는 기계 학습에서 사용되는 기본적인 확률 및 통계론에 대해 알아보자. Probability 확률론 및 통계학을 나누는 여러 가지 방법 중에는 frequentist (빈도 주의적 접근)와 Bayesian (베이즈 접근)으로 구분하는 것이 있다. Frequentist는 사건을 무수히 많이 반복하여 얻어지는 확률을 가지고 표현하는 관점으로 확률을 보고, Bayesian은 어떤 것에 대한 불확실성을 정량화하는 관점으로 본다. 이를 이해하기 쉽게 동전 던지기 사건으로 설명하자면 frequentist는 동전을 매우 많이 던지면 결국 앞면이 나오는 경우의 확률은 50%로 수렴한다는 것이고, bayesian은 다음에 동전을 던지는 것 또한 앞면, 뒷면의 확률이 같다고 가정한다. 우리는 Baysian의 관점에..

기계 학습의 유형 (1) Supervised learning : Supervised learning이란 기계가 데이터와 이에 대한 label을 가지고 학습하는 방법론이다. Train dataset: $D = {(x_{i}, y_{i})}^{N}_{i=1}$ 이 식을 해석해보면 $x_{i}$ 는 학습 데이터 셋에 있는 $i$ 번째 데이터 feature를 의미하고 $y_{i}$ 는 $x$ 에 mapping 되는 label을 의미한다. 쉽게 설명하면 강아지 이미지가 $x$ 에 해당되고, 이에 대한 label 값인 강아지가 $y$에 속한다. Supervised learning의 목적은 input data인 $x$ 를 output data인 $y$ 에 mapping 하는 방법을 배우는 것이다. Input data..

본 포스트는 고려대학교 산업경영공학부 강필성 교수님의 Business Analytics 강의를 정리한 내용입니다. Dimensionality Reduction이란 original data의 차원을 줄이면서 prediction model의 성능을 최대한으로 유지하는 기법이다. 차원 축소를 하는 이유는 무엇일까? 현실 세계에 존재하는 데이터는 대부분 고차원으로 형성이 되어있다. 예를 들어 넷플릭스 추천 시스템을 생각해보자. 각 유저에 마다 즐겨 찾는 카테고리, 최근 시청 기록, 선호하는 미디어, etc 등 수많은 차원으로 구성되어 있다. 궁극적으로 추천 시스템을 만드는 데 있어 모든 변수를 고려할 필요는 없다. 다양한 변수 중 중요한 변수도 있고, 필요 없는 변수들도 있다. 따라서 우리는 효율적인 변수만 채..

Broadcasting : 산술적인 연산을 진행할 때 shape가 다른 array가 어떻게 처리되는 지를 설명한다. : Broadcasting이라는 용어의 시초는 numpy이며, 현재 matlab과 같은 다양한 라이브러리에서 사용된다. 사전적 의미는 다음과 같다. verb (used with object), broadcast or broadcasted,broadcasting. to transmit (programs) from a radio or television station. to speak, perform, sponsor, or present on a radio or televisionprogram to cast or scatter abroad over an area, as seed in sowin..

NMF (Non-netgative Matrix Factorization) : 음수를 포함하지 않는 행렬 $X$를 음수를 포함하지 않는 행렬 $W$와 $H$의 곱으로 분해하는 알고리즘이다. $$ X = WH$$ $$X\in \mathbb{R}^{m \times n} \\ where \ m: Num \ of \ data samples, \ n: Dimension \ of \ data \ samples$$ 만약 $p$개의 feature를 가지고 원래의 $data \ set \ X$를 분해한다면 $$W\in \mathbb{R}^{m \times p}, \ H \in \mathbb{R}^{p \times n} $$ NMF는 다른 분해법과는 달리 분해 후 non-netgativity 특성을 보존할 수 있고, PCA..

SVD (Singular Value Decomposition) 정의: 임의의 $m * n$ 차원 행렬 A에 대하여 다음과 같이 행렬 분해를 할 수 있다는 행렬 분해 방법 중 하나이다. $$ A = U\Sigma V^T $$ $A: m \times n$ rectangular matrix $U: m \times n$ orthogonal matrix $\Sigma : m \times n$ diagonal matrix $V^T: m \times n$ orthogonal matrix Pre-knowledge Orthogonal matrix - ortho~: 두 벡터가 직교한다. - orthogonal vectors: 두 벡터의 내적 값은 0인 벡터들 - $UU^T = U^T U = 1$ $\therefore$ $..