Machine Learning - Thoery/Probability & Statistics 검색 결과

10 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Probability & Statistics

ODE와 SDE 설명 (Ordinary differential equation과 stochastic differential equation 설명

ODE는 ordinary differential equation의 준말로, 어떤 variable과 그것의 미분으로 구성된 방정식을 말한다. 그리고 SDE는 stochastic differential equation의 준말로, 하나 이상의 term이 stochastic process인 미분방정식, 즉 randomness를 가지는 부분이 있는 미분방정식을 말한다. 이번 글에서는 ODE와 SDE가 무엇인지에 대해, 수학자의 관점 보다는 diffusion model과 score-based generative model을 이해하기 위한 관점으로 알아보겠다. ODE ODE는 어떤 variable과 그것의 미분으로 구성된 방정식을 말하고, 이것의 기본적인 형태는 다음과 같다. 위 식에서 $x(t)$는 시간 $t$일 ..

2024. 2. 25. 19:04

Machine Learning - Thoery/Probability & Statistics

Master equation 설명 (Markov process와 master equation)

Master equation은 Markov process state의 확률 분포가 시간에 따라서 어떻게 변하는지를 모델링하는 방정식으로, stochastic system의 behavior의 분석과 예측에 도움을 준다. 이번 글에서는 Markov property와 이를 만족하는 Markov process가 무엇인지, 그리고 마지막으로 Master equation이 무엇인지에 대해 알아보겠다. Markov process Markov process는 Markov property를 만족하는 stochastic process를 의미한다. 이 문장 안에 있는 Markov property가 무엇인지, 그리고 stochastic process가 무엇인지에 대해 하나씩 알아보겠다. Stochastic process St..

2023. 12. 30. 16:32

Machine Learning - Thoery/Probability & Statistics

Bayesian network과 Bayes ball 알고리즘 설명 (조건부 독립)

Bayesian network는 변수들 간의 독립 관계를 directed acyclic graph 형태로 표현한 확률 그래프 모델을 말한다. 그리고 Bayes ball 알고리즘은 공을 굴리는 것에 비유하여 Bayeisan network를 통해 변수들이 서로 조건부 독립인지 아닌지를 판단하는 알고리즘이다. 이번 글에서는 Bayesian network가 무엇인지와 함께, 이들의 local structure, 그리고 Bayes ball 알고리즘을 통해 어떻게 변수들의 조건부 독립 여부를 판단할 수 있는지에 대해 알아보겠다. Bayesian network Bayeisan network는 위에서 언급한 것처럼 변수들 간의 독립 관계를 directed acyclic graph 형태로 표현한 확률 그래프 모델을 말한..

2023. 1. 22. 00:01

Machine Learning - Thoery/Probability & Statistics

Method of Moments 설명 (MOM이란?)

우리는 어떤 데이터에 대한 parameter를 추정하고 싶을 때, Maximum Liklihood Estimation 혹은 MAP Estimation 등의 방법을 주로 사용한다. 이외에도 Empirical Risk Minimization(ERM), Method of Moments(MOM) 등 parameter를 추정하는 다양한 방법들이 존재한다. 이번 포스팅에서는 그 중에서도 log likelihood의 미분이 힘들어 MLE를 계산하기가 어려운 상황일 때에 사용하는 방법인 Method of Moments에 대해서 알아보겠다. 정의 MOM은 이론적으로 계산한 moment 값인 theoretical moment와 실제 moment 값인 empirical moment의 차이가 최소화되는 방향으로 paramet..

2021. 9. 13. 19:54

Machine Learning - Thoery/Probability & Statistics

Empirical risk minimization 설명 (ERM이란?)

우리는 어떤 데이터에 대한 parameter를 추정하고 싶을 때, 주로 Maximum Likelihood Estimation 혹은 MAP Estimation을 사용한다. 하지만 이외에도 MOM(Method of Moments), ERM(Empirical Risk Minimization) 등 parameter를 추정하는데에 쓰이는 다양한 방법들이 존재한다. 이번 포스팅에서는 그 중에서도 MLE를 일반화하여 표현한 방법인 Emprical Risk Minimization이 무엇인지에 대해 알아보겠다. 정의 Empirical Risk Minimization은 loss function이 어떤 형태이든 적용할 수 있는 방법으로, 이 방법에서는 loss function을 아래 식과 같이 정의한다. 위 식에서 l(y_..

2021. 9. 9. 22:48

Machine Learning - Thoery/Probability & Statistics

Exponential Family 설명 (지수족이란?)

통계학이나 머신 러닝 공부를 하다 보면 exponential family라는 단어를 종종 접할 수 있다. 이번 포스팅에서는 exponential family가 무엇인지에 대해 알아보고, 이 예시에는 어떤 것이 있는지 알아보겠다. 정의 y를 random variable, eta를 parameter라고 할 때 Exponential family는 아래와 같은 형태로 표현될 수 있는 분포를 의미한다. 여기서 우리는 h(y)를 scaling constant 혹은 base measure, T(y)를 sufficient statistics, eta를 natural parameter, Z(eta)를 p(y|eta)의 합을 1로 만들어주는 normalization constant인 partition function, A..

2021. 9. 4. 18:49

Machine Learning - Thoery/Probability & Statistics

MAP estimation (Maximum A Posterior estimation)이란? (MAP와 MLE, MAP estimation의 단점)

Maximum Likelihood Estimation은 우리가 어떤 parameter를 추정할 때, likelihood 값을 최대로 하는 parameter를 찾는 과정을 말한다. 하지만 Maximum Likelihood Estimation은 우리가 기본적으로 알고 있는 데이터의 사전 지식 정보는 반영하지 못한다는 한계를 가진다. 이러한 단점을 극복하고, 우리가 데이터에 대한 정보가 있는 상황에서 posterior 값을 최대로 하는 parameter를 찾는 과정을 우리는 MAP estimation이라고 부른다. 이번 포스팅에서는 MAP estimation이 무엇인지, Maximum Likelihood Estimation과는 어떻게 다른지, 그리고 MAP estimation의 단점은 무엇인지에 대해 알아보겠..

2020. 10. 10. 18:32

Machine Learning - Thoery/Probability & Statistics

Kernel Method란? (Kernel density estimation이란?) - Parzen window란?

어떤 데이터의 분포를 파악하는 것은 데이터 분석에 있어서, 나아가 머신 러닝에 있어서 굉장히 중요한 단계이다. 하지만 실제 데이터는 대부분의 경우에 정규 분포와 같은 예쁜 분포 형태를 따르지 않고, 어떤 분포를 따르는지 전혀 알 수가 없다. 이런 경우에 데이터의 분포를 추정하여 확률 밀도(probability density)를 추정하는 방법에는 histogram, kernel density estimation, K-nearest neighbor 등 다양한 방법이 있다. 이번 포스팅에서는 그 중에서 kernel density estimation (kernel method), 그리고 그 대표적인 방법인 parzen window에 대해 알아볼 것이다. Motivation 우리의 목표는 확률 밀도(probabi..

2019. 12. 2. 22:29

Machine Learning - Thoery/Probability & Statistics

Maximum Likelihood란? (MLE란?)

이번 포스팅에서는 Maximum Likelihood가 무엇인지에 대해 알아보겠다. 이 포스팅은 정규 분포에 대한 이해가 있다고 가정한다. Likekihood Likelihood란, 데이터가 특정 분포로부터 만들어졌을(generate) 확률을 말한다. 예를 들어, X = (1, 1, 1, 1, 1)이라는 데이터가 있다고 하자. 그리고 아래와 같이 두 분포가 있다고 하자. 우리의 데이터 X는 어떤 분포를 따를 확률이 더 높을까? 당연히 왼쪽 분포를 따를 확률이 더 높을 것이다. 이런 상황에서 우리는 왼쪽 분포의 데이터 X에 대한 likelihood가 더 높다고 표현할 수 있다. 그러므로 likelihood는 다음과 같은 식으로 표현할 수 있다. 그렇다면 이 likelihood는 어떻게 계산할 수 있을까? 우..

2019. 12. 2. 01:52

Machine Learning - Thoery/Probability & Statistics

Bayes Decision Theory란? (베이즈 결정이론이란?)

첫 머신러닝 글 ㅎㅎ 프로세스 마이닝만 하다가 알고 있던 것 다 잊어버릴 것 같아서 데이터 마이닝 글도 써야지 하고 계속 생각하고 있었는데, 머신러닝 수업 듣는 김에 정리하려고 한다. 사람들은 살아가면서 많은 결정을 하게 된다. 내일은 어떤 데이트를 해야 할지, 친구에게 어떤 선물을 줘야할지, 시험공부는 언제부터 시작해야 할지 등등. 예를 들어, 내일 애인을 만나기로 했다고 하자. 무작정 영화를 보고 밥을 먹는 것보다는, 저번 주에도 밖에서 데이트를 해서 이번 주에도 밖에서 만나면 힘들지 않을지, 내일의 날씨는 어떤지, 이번 주에는 혼자 있을 시간이 필요하지는 않은지 등의 많은 정보를 고려해서 결정하는 것이 평화로운 연애의 지름길일 것이다. 이렇게 우리는 의사 결정을 할 때에 많은 사전 정보들을 이용한다..

2019. 10. 14. 04:05