아롱이 탐험대

Gaussian models Multivariate Gaussian 또는 MVN (Multivariate Normal)은 연속적인 데이터에 대한 joint probability density function에서 사용하며, D 차원의 MVN에 대한 PDF는 다음과 같이 정의한다. $$ \mathcal N(x|{\mu,\Sigma})\triangleq\frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}}\exp\left[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right] $$ exponential 안 수식은 featrue $x$와 mean vector $\mu$ 사이의 차이를 나타내는 mahalanobis distance로, $\Sigma$에 대해 eigen dec..

Naive Bayes Classifiers 이제부터는 discrete-valued feature인 $x\in\{1,\dots,K\}^D$를 어떻게 분류할 것인지 알아보자. 어기서 $K$는 각 feature의 value 개수이고, $D$는 feature의 개수이다. 우리는 generative approach를 사용할 것이고, 이를 위해 class conditional distribution인 $p(x|y=c)$를 지정해야 한다. 가장 간단한 approach는 feature들이 주어진 class label에 대해 conditionally independent라고 가정하는 것이다. 이를 통해 class conditional density를 다음과 같이 1-D density의 곱으로 쓸 수 있다. $$ p(x|..

Online Learning Machine learning에는 크게 batch learning과 online learning이 존재한다. 만약 데이터 1000만 개가 존재할 때 batch learning은 이를 한 번에 넣어서 학습을 진행하는 반면, online learning은 1~5000, 5001 ~ 10000 이런 식으로 나누어 학습을 진행한다. online learning에서 고려해야하는 점은 항상 결과가 같은지 다른지 이다. batch learning의 posteior는 위에서 정의한 수식과 같다. 하지만 online learning의 경우에는 약간의 차이가 있다. 데이터가 $D_{a}, D_{b}$로 나뉘었다고 가정을 하면 posterior는 아래 수식으로 표현된다. $$ p(\theta \..

Introduction Discrete classification은 크게 Discriminative approach와 Generative approach로 나뉜다. Discrimitive approach $$ p(y = c \mid x, \theta) $$ 어떠한 model $\theta$가 주어졌을 때, feature vector $x$를 통해 $y=c$인 class를 추론하는 것으로 대표적으로 Linear regression과 Logistic regression이 있다. Generative approach $$ p(y=c|x,\theta)\propto p(x|y=c,\theta)p(y=c|\theta) $$ 수식은 discrimitive approach와 같지만, 해당 식을 이용하여 바로 추론하는 것..

네트워크에 무슨일이 생겨 router에 packet을 전달하지 못하는 상황이 생기면, 이를 보고하는 역할이 필요하게 된다. 이 역할을 ICMP가 진행한다. Source-A-B-C-Destination 순서로 전달이 된다고 가정하자. 알파벳은 router이다. 만약 B와 C 사이에서 연결이 끊겼을 때는 B에서 source로 이 상황을 알려줘야한다. source에 알려주기 위해서는 IP가 필요한다. 이러한 이유로 ICMP는 IP header가 필요하고, ICMP에는 error에 대한 종류를 적고 source의 IP 주소를 IP header에 넣어서 전송한다. 위 테이블은 ICMP의 message에 대한 유형별 정리이다. 크게 Error-reporting message, Query message로 나뉜다. I..

이전에 살펴본 내용과 동일하게 IP는 network layer에 속해 있다. 이전에 설명한 UDP 헤더는 위 이미지와 같이 구성이 되어 있고, 시작 포트 번호, 도착 포트 번호, 전체 길이, checksum으로 구성되어 있다. network layer에 있는 얘는 datagram이라고 부르고, 이는 가변적인 옵션을 가지고 있다. IP datagram 위 그림은 IP 헤더이다. 하나하나 씩 알아보자. VER 버전 넘버를 의미하고, 4비트로 구성되어 있다. HLEN IP 헤더의 경우 옵션을 사용하게 되면 20 바이트부터 60 바이트까지 길이가 가변적으로 변하게 된다. 이를 HLEN을 통해서 알려준다. 4비트로 구성이 되어 있다. IP 헤더의 최대 바이트는 60인데, 최대 바이트가 할당되려면 4로 나누어서 1..

Data load를 제외한 모든 Linear Regression의 과정들을 python과 numpy만을 사용하여 구현해보았습니다. 개념에 대한 전체적인 내용은 아래 포스트를 참고하시기 바랍니다. https://ys-cs17.tistory.com/73 Code implementation Normalization weight-height.csv 파일을 DataFrame으로 만든 후 해당 함수를 통해 normalization을 진행합니다. 1. Min max normalization def min_max_normalize(df): x = (df['Weight'] - min(df['Weight'])) / (max(df['Weight']) - min(df['Weight'])) y = (df['Height'] - ..

Direct delivery Direct delivery는 최종 목적지가 보내는 쪽과 같은 네트워크에 있는 경우이다. 다른 컴퓨터도 만약 연결이 되어 있다면 가운데 육면체인 스위치는 연결되어 있는 모든 컴퓨터에게 데이터를 전송한다. 아니면 테이블을 확인하여 보낸다. 라우터가 같은 네트워크에 있는 컴퓨터에게 바로 보내는 것도 direct delivery이다. Indirect delivery 위 그림과 같이 라우터를 거쳐서 다른 네트워크로 가는 것을 indirect delivery라고 한다. 라우터에는 실질적인 모든 경로를 알고 있다. 위 그림 R1처럼 테이블에 경로를 저장한다. (a) 같은 방식을 경로 중심 경로라고 하고, Route table에 모든 경로를 저장한다. 하지만 미국에 데이터를 보내는 경우와..