아롱이 탐험대

Central limit theorem 각각 평균 $\mu$와 분산 $\sigma^{2}$ 에 대한 probability density function인 $p(x_{i})$를 갖는 $\text{R.V.}$에 대해 생각해보자. 각 variable이 independent이고, i.i.d. (identically distributed)라고 가정하자. $S_{N} = \sum_{i = 1}^{N}X_{i}$은 random variable의 합이고, 이는 간단하지만 널리 사용되는 random variable의 transformation이다. N이 증가할수록, S_{N}의 distribution은 아래 식과 가까워진다는 것을 알 수 있다. 다시 말해, 주어진 조건에서 N이 증가할수록 Gaussiam distribu..

Multivariate Gaussian Multivariate이란 다차원이라는 말이다. R.V. $\text{x}$가 다차원일 때 Gaussian distribution은 아래 수식과 같이 구한다. 크게 틀은 달라지지 않는다. $\mu = \mathit{\mathbb{E}}[\text{x}] \in \mathit{\mathbb{E}}^{D}$ is the mean vector. D차원의 $\text{x}$의 평균값 $\sum = \text{cov[\text{x}]}$는 $D \times D$ 크기의 covariance matrix이다. parameter의 개수는 우리가 어떤 covariance matrix를 사용하냐에 따라 다르다. (1) Full covariance: 행렬이 대칭적이기 때문에 $\fra..

이번 시간에는 기계 학습에서 사용되는 기본적인 확률 및 통계론에 대해 알아보자. Probability 확률론 및 통계학을 나누는 여러 가지 방법 중에는 frequentist (빈도 주의적 접근)와 Bayesian (베이즈 접근)으로 구분하는 것이 있다. Frequentist는 사건을 무수히 많이 반복하여 얻어지는 확률을 가지고 표현하는 관점으로 확률을 보고, Bayesian은 어떤 것에 대한 불확실성을 정량화하는 관점으로 본다. 이를 이해하기 쉽게 동전 던지기 사건으로 설명하자면 frequentist는 동전을 매우 많이 던지면 결국 앞면이 나오는 경우의 확률은 50%로 수렴한다는 것이고, bayesian은 다음에 동전을 던지는 것 또한 앞면, 뒷면의 확률이 같다고 가정한다. 우리는 Baysian의 관점에..

기계 학습의 유형 (1) Supervised learning : Supervised learning이란 기계가 데이터와 이에 대한 label을 가지고 학습하는 방법론이다. Train dataset: $D = {(x_{i}, y_{i})}^{N}_{i=1}$ 이 식을 해석해보면 $x_{i}$ 는 학습 데이터 셋에 있는 $i$ 번째 데이터 feature를 의미하고 $y_{i}$ 는 $x$ 에 mapping 되는 label을 의미한다. 쉽게 설명하면 강아지 이미지가 $x$ 에 해당되고, 이에 대한 label 값인 강아지가 $y$에 속한다. Supervised learning의 목적은 input data인 $x$ 를 output data인 $y$ 에 mapping 하는 방법을 배우는 것이다. Input data..