Information Theory 검색 결과
3 개의 검색 결과가 있습니다.
Machine Learning - Thoery

Forward KL Divergence과 Reverse KL Divergence 설명 (Inclusive KL과 exclusive KL)

이번 포스팅에서는 저번 KL divergence 글에 이어, forward KL과 reverse KL이 무엇인지에 대해 설명하겠다. Forward KL Forward KL(inclusive KL)은 아래와 같이 정의한다. 이는 기존에 우리가 알던 KL divergence의 형태와 같다. 이 Forward KL을 최소화하는 q를 찾는 과정을 우리는 M-projection 혹은 moment projection이라고 부른다. 그렇다면 우리는 이 forward KL을 어떻게 해석할 수 있을까? 이를 해석하기 위해 전체 x 값을 p(x)=0인 구간과 p(x)>0인 구간으로 분류한다. p(x)=0 p(x)가 0인 구간에 대해서 우리는 KL divergence를 고려할 필요가 없다. 왜냐하면, KL divergenc..

2021. 10. 27. 19:48
Machine Learning - Thoery

KL divergence 설명 (Relative entropy 설명, KL divergence와 MLE)

KL divergence는 어떤 분포 p, q가 있을 때, 우리는 이들이 얼마나 비슷한 분포인지를 표현하는 measure로, 분포의 entropy와 비교하는 분포 간의 cross entropy 값을 반영한다. 이번 포스팅에서는 확률 분포 사이의 divergence measure 중 하나인 KL divergence(Relative entropy)에 대해 알아보겠다. 정의 분포가 discrete할 때, KL divergence는 아래와 같이 정의할 수 있다. 분포가 연속일 때는 KL divergence를 아래와 같이 정의한다. 해석 위의 식이 가지는 의미는 무엇일까? 위 식의 log를 풀어서 써 보면 아래와 같은 식으로 표현할 수 있다. 이 식에서 우리는 앞에 있는 plog(p) 값이 p의 entropy를,..

2021. 10. 27. 19:26
Machine Learning - Thoery

Mutual Information이란? (상호의존정보란?, Normalized Mutual Information, Maximal Information Coefficient)

어떤 random variable들 X, Y가 있을 때, 우리는 이들이 어떤 관계인지를 궁금해 할 수 있다. 이를 위해 우리는 각 random variable들의 확률 분포가 주어져 있다면 KL divergence를 활용해 이들이 얼마나 비슷한지를 관찰하기도 하고, X, Y의 correlation coefficient를 구하기도 한다. 이번 글에서는 하나의 random variable이 다른 random variable에 얼마나 dependent한지를 나타내는 지표인 mutual information(MI)에 대해서 설명해볼 것이다. 배경 (Correlation의 한계) 서로 다른 두 random variable의 관계를 알고 싶다면, 가장 먼저 우리는 correlation을 계산해볼 수 있을 것이다. ..

2021. 9. 1. 20:41