Machine Learning 검색 결과

21 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Probability & Statistics

Bayesian network과 Bayes ball 알고리즘 설명 (조건부 독립)

Bayesian network는 변수들 간의 독립 관계를 directed acyclic graph 형태로 표현한 확률 그래프 모델을 말한다. 그리고 Bayes ball 알고리즘은 공을 굴리는 것에 비유하여 Bayeisan network를 통해 변수들이 서로 조건부 독립인지 아닌지를 판단하는 알고리즘이다. 이번 글에서는 Bayesian network가 무엇인지와 함께, 이들의 local structure, 그리고 Bayes ball 알고리즘을 통해 어떻게 변수들의 조건부 독립 여부를 판단할 수 있는지에 대해 알아보겠다. Bayesian network Bayeisan network는 위에서 언급한 것처럼 변수들 간의 독립 관계를 directed acyclic graph 형태로 표현한 확률 그래프 모델을 말한..

2023. 1. 22. 00:01

Machine Learning - Thoery/Traditional ML

Probit regression 설명 (Probit function이란? Probit regression과 MLE)

Probit regression은 probit function이라고도 불리는 표준정규분포의 cdf를 활용하는 classification 방법으로, logistic regression과 비슷하게 작동하지만 미분했을 때 gradient를 정규분포를 활용하여 간단하게 표현할 수 있다는 장점을 가진다. 이번 글에서는 probit regression이 무엇인지와 함께, probit regression에 MLE를 적용하는 방법에 대해 알아보겠다. 정의 Probit function 우선, probit regression에 대해 알아보기 전에 probit function이 무엇인지에 대해 알아보겠다. Probit function은 앞서 언급한 것처럼 표준정규분포의 cdf를 말한다. 이는 아래와 같이 정의된다. 이러한 ..

2022. 7. 27. 00:13

Machine Learning - Thoery/Deep Learning

GAN 설명 (Generative Adversarial Network란?, GAN 증명, GAN 한계)

GAN은 generative adversarial network의 줄임말로, VAE, diffusion model과 같은 generative model의 한 종류로써 데이터를 생성하는 generator와 데이터를 구별하는 discriminator가 경쟁하는 과정을 통해서 데이터를 학습한다. 이번 글에서는 GAN이 무엇인지와 함께, 어떤 원리로 동작하는지에 대해 수식과 함께 살펴보겠다. Motivation GAN은 앞서 언급했듯이, 데이터를 생성하는 generator와 데이터를 구별하는 discriminator로 이루어져 있다. Generator는 최대한 실제처럼 보이는 데이터를 생성함으로써 discriminator를 속이려고 시도하고, 이에 반해 discriminator는 실제 데이터와 만들어진 가짜 데..

2022. 7. 20. 15:51

Machine Learning - Thoery

Forward KL Divergence과 Reverse KL Divergence 설명 (Inclusive KL과 exclusive KL)

이번 포스팅에서는 저번 KL divergence 글에 이어, forward KL과 reverse KL이 무엇인지에 대해 설명하겠다. Forward KL Forward KL(inclusive KL)은 아래와 같이 정의한다. 이는 기존에 우리가 알던 KL divergence의 형태와 같다. 이 Forward KL을 최소화하는 q를 찾는 과정을 우리는 M-projection 혹은 moment projection이라고 부른다. 그렇다면 우리는 이 forward KL을 어떻게 해석할 수 있을까? 이를 해석하기 위해 전체 x 값을 p(x)=0인 구간과 p(x)>0인 구간으로 분류한다. p(x)=0 p(x)가 0인 구간에 대해서 우리는 KL divergence를 고려할 필요가 없다. 왜냐하면, KL divergenc..

2021. 10. 27. 19:48

Machine Learning - Thoery

KL divergence 설명 (Relative entropy 설명, KL divergence와 MLE)

KL divergence는 어떤 분포 p, q가 있을 때, 우리는 이들이 얼마나 비슷한 분포인지를 표현하는 measure로, 분포의 entropy와 비교하는 분포 간의 cross entropy 값을 반영한다. 이번 포스팅에서는 확률 분포 사이의 divergence measure 중 하나인 KL divergence(Relative entropy)에 대해 알아보겠다. 정의 분포가 discrete할 때, KL divergence는 아래와 같이 정의할 수 있다. 분포가 연속일 때는 KL divergence를 아래와 같이 정의한다. 해석 위의 식이 가지는 의미는 무엇일까? 위 식의 log를 풀어서 써 보면 아래와 같은 식으로 표현할 수 있다. 이 식에서 우리는 앞에 있는 plog(p) 값이 p의 entropy를,..

2021. 10. 27. 19:26

Machine Learning - Thoery

Proper scoring rule 설명 (proper scoring rule이란?, Brier score 설명)

머신 러닝 혹은 딥러닝의 궁극적인 목적은 loss function을 최소화하는 parameter를 찾는 것이다. 이 loss function에는 다양한 종류가 있다. 이 예시로는 discrete한 예측 label을 가지는 classification problem에서 사용되는 예측이 맞았을 때는 loss를 0으로 그리고 틀렸을 때는 1로 계산하는 zero-one loss부터 continuous한 예측 값을 가지는 regression problem에서 사용되는 l2 loss, l1 loss, huber loss 등 다양한 것이 있다. 이외에도 true probability distribution에 대해서 이에 맞는 probability distribution을 예측하는 probabilistic predict..

2021. 10. 5. 21:13

Machine Learning - Thoery/Probability & Statistics

Method of Moments 설명 (MOM이란?)

우리는 어떤 데이터에 대한 parameter를 추정하고 싶을 때, Maximum Liklihood Estimation 혹은 MAP Estimation 등의 방법을 주로 사용한다. 이외에도 Empirical Risk Minimization(ERM), Method of Moments(MOM) 등 parameter를 추정하는 다양한 방법들이 존재한다. 이번 포스팅에서는 그 중에서도 log likelihood의 미분이 힘들어 MLE를 계산하기가 어려운 상황일 때에 사용하는 방법인 Method of Moments에 대해서 알아보겠다. 정의 MOM은 이론적으로 계산한 moment 값인 theoretical moment와 실제 moment 값인 empirical moment의 차이가 최소화되는 방향으로 paramet..

2021. 9. 13. 19:54

Machine Learning - Thoery/Probability & Statistics

Empirical risk minimization 설명 (ERM이란?)

우리는 어떤 데이터에 대한 parameter를 추정하고 싶을 때, 주로 Maximum Likelihood Estimation 혹은 MAP Estimation을 사용한다. 하지만 이외에도 MOM(Method of Moments), ERM(Empirical Risk Minimization) 등 parameter를 추정하는데에 쓰이는 다양한 방법들이 존재한다. 이번 포스팅에서는 그 중에서도 MLE를 일반화하여 표현한 방법인 Emprical Risk Minimization이 무엇인지에 대해 알아보겠다. 정의 Empirical Risk Minimization은 loss function이 어떤 형태이든 적용할 수 있는 방법으로, 이 방법에서는 loss function을 아래 식과 같이 정의한다. 위 식에서 l(y_..

2021. 9. 9. 22:48

Machine Learning - Thoery

Mutual Information이란? (상호의존정보란?, Normalized Mutual Information, Maximal Information Coefficient)

어떤 random variable들 X, Y가 있을 때, 우리는 이들이 어떤 관계인지를 궁금해 할 수 있다. 이를 위해 우리는 각 random variable들의 확률 분포가 주어져 있다면 KL divergence를 활용해 이들이 얼마나 비슷한지를 관찰하기도 하고, X, Y의 correlation coefficient를 구하기도 한다. 이번 글에서는 하나의 random variable이 다른 random variable에 얼마나 dependent한지를 나타내는 지표인 mutual information(MI)에 대해서 설명해볼 것이다. 배경 (Correlation의 한계) 서로 다른 두 random variable의 관계를 알고 싶다면, 가장 먼저 우리는 correlation을 계산해볼 수 있을 것이다. ..

2021. 9. 1. 20:41

Machine Learning - Thoery/Traditional ML

K-nearest neighbors(KNN)이란? (KNN 설명, Voronoi tessellation이란?)

K-nearset neighbors (KNN) 는 주어진 데이터에서 가장 가까운 데이터들의 label을 활용하여 해당 데이터의 분류를 진행하는 기법이다. 이번 포스팅에서는 대표적인 non-parametric model인 K-nearest neighbor classifier에 대해 알아보겠다. Motivation K-nearest neighbor classifier의 작동 원리는 정말 간단하다. 예를 들어, 다음과 같이 빨강 초록 파랑 3가지 색으로 label된 데이터가 있다고 하자. 이렇게 미리 주어진 데이터가 있는데, 우리는 다음과 같은 노란 점이 빨강 초록 파랑 중 어떤 색을 가질지를 알고 싶다. 우리의 직관으로 주위에 빨강이 대부분이니까 저 노란색 점도 빨강일 것이라고 쉽게 예측할 수 있다. 이러한..

2020. 11. 22. 21:55

Machine Learning - Thoery/Traditional ML

Parametric model과 Non-parametric model

머신러닝(혹은 통계학)을 공부하다 보면, parametric/non-parametric model이나 parametric/non-parametric test와 같은 단어를 자주 접할 수 있다. 이번 포스팅에서는 parametric model과 non-parametric model의 뜻과 함께 그 종류에는 무엇이 있는지, 그리고 각각의 장단점이 무엇인지에 대해 알아보겠다. 정의 머피의 머신러닝 책에서는 parametric model과 non-parametric model을 아래와 같이 정의한다. Parametric model: The model has a fixed number of parameters. 모델의 파라미터 수가 정해져 있다. Non-parametric model: The number of p..

2020. 11. 22. 20:59

Machine Learning - Thoery/Traditional ML

Robust Linear Regression이란? (Laplace regression, Huber regression 장점, Huber loss)

이번 포스팅에서는 Linear Regression과 Ridge Regression에 이어 Robust linear regression의 종류 중 하나인 Laplace Regression과 Huber Regression, 그리고 이들의 장점과 단점에 대해 알아보겠다. * 이번 포스팅은 Linear Regression에 대한 이해가 있다고 가정한다. Robust Linear Regression 가장 기본적인 형태의 Linear Regression인 Least Squares는 다음과 같은 RSS(Residual Sum of Squares)를 최소화하는 w를 찾는 것을 목적으로 했다. 하지만 위 형태와 같은 RSS를 최소화하는 모델을 만들 때 다른 데이터들과는 값이 많이 다른 아웃라이어가 데이터에 존재한다면, ..

2020. 11. 15. 16:54

Machine Learning - Thoery/Traditional ML

Ridge Regression(Penalized Least Squares)이란? (Ridge regression 증명)

Ridge regression은 linear regresssion에 regularizer를 추가하여 overfitting을 방지한 regression 방법으로, MAP estimation을 통해서 모델링을 한다는 특징을 가진다. 이번 포스팅에서는 Linear Regression에 이어 Ridge Regression(Penalized Least Squares)이 무엇이고 이것이 작동하는 수학적 원리가 무엇인지, 그리고 이것이 단순한 Linear Regression(Least Squares)에 비해 overfitting에 강한 이유에 대해 알아보겠다. 이번 포스팅은 maximum likelihood와 MAP estimation에 대한 이해가 있다고 가정한다. Motivation 우리가 Least Square..

2020. 11. 13. 00:26

Machine Learning - Thoery/Probability & Statistics

MAP estimation (Maximum A Posterior estimation)이란? (MAP와 MLE, MAP estimation의 단점)

Maximum Likelihood Estimation은 우리가 어떤 parameter를 추정할 때, likelihood 값을 최대로 하는 parameter를 찾는 과정을 말한다. 하지만 Maximum Likelihood Estimation은 우리가 기본적으로 알고 있는 데이터의 사전 지식 정보는 반영하지 못한다는 한계를 가진다. 이러한 단점을 극복하고, 우리가 데이터에 대한 정보가 있는 상황에서 posterior 값을 최대로 하는 parameter를 찾는 과정을 우리는 MAP estimation이라고 부른다. 이번 포스팅에서는 MAP estimation이 무엇인지, Maximum Likelihood Estimation과는 어떻게 다른지, 그리고 MAP estimation의 단점은 무엇인지에 대해 알아보겠..

2020. 10. 10. 18:32

Machine Learning - Thoery/Traditional ML

Linear Regression이란? (선형회귀란?, linear regression과 MLE)

Linear regression은 데이터 간의 선형적인 관계를 가정하여 어떤 독립 변수 x가 주어졌을 때 종속 변수 y를 예측하는 모델링 방법이다. 이번 글에서는 머신 러닝 공부를 시작하면 가장 먼저 배우는 개념 중 하나인, linear regression에 대해 알아보겠다. 이번 포스팅은 maximum likelihood에 대한 이해가 있다고 가정한다. Motivation 다음과 같은 데이터가 있다고 하자. 우리는 x값을 넣었을 때 y값을 예측하는 모델을 만들고 싶다. 이를 예측하는 하나의 선을 정하는 과정에서, 우리는 다음과 같은 여러 선들을 그릴 수 있을 것이다. 두 선 중 어떤 것이 데이터(점)를 더 정확하게 예측하는 것처럼 보이는가? 모두가 왼쪽이 더 정확하게 예측한다고 생각할 것이다. 왜 그렇..

2020. 10. 7. 23:15

Machine Learning - Thoery/Traditional ML

Decision Tree의 Impurity 지표 (Entropy, GINI index, GR)

* 이번 포스팅은 Decision Tree에 대한 기본적인 이해가 있다는 것을 가정한다. Decision Tree는 데이터를 이용하여 tree 구조를 만드는 것을 통해 이를 분류하거나 결과값을 예측하는 분석 방법을 말한다. 이 Decision Tree를 만들 때에는, 각 node들의 복잡성, 즉 impurity가 가장 낮은 방향으로 tree가 만들어진다. 즉, 결과 노드 (leaf node) 안에서 섞여 있는 정도가 낮은 tree를 만드는 것이 목표인 것이다. 그렇다면 이 복잡성을 어떻게 측정할 수 있을까? 이번 포스팅에서는 이 Impurity 지표에는 무엇이 있는지에 대해 알아보겠다. Entropy 가장 기본적인 impurity 지표는 Entropy이다. Entropy는 다음 식으로 계산할 수 있다. ..

2020. 3. 1. 20:16