통계학이나 머신 러닝 공부를 하다 보면 exponential family라는 단어를 종종 접할 수 있다. 이번 포스팅에서는 exponential family가 무엇인지에 대해 알아보고, 이 예시에는 어떤 것이 있는지 알아보겠다.
정의
y를 random variable, eta를 parameter라고 할 때 Exponential family는 아래와 같은 형태로 표현될 수 있는 분포를 의미한다.
여기서 우리는 h(y)를 scaling constant 혹은 base measure, T(y)를 sufficient statistics, eta를 natural parameter, Z(eta)를 p(y|eta)의 합을 1로 만들어주는 normalization constant인 partition function, A(eta)=log Z(eta)를 log partition function이라고 부른다.
위 식은 eta를 f(pi)로 놓음으로 아래와 같이 generalization할 수 있다.
이 때, f 함수가 nonlinear이면 우리는 이를 curved exponential family라고 부르고, eta=pi이면 이를 canonical form이라고 부른다. 또한, T(y)=y이면 우리는 이를 natural exponential family라고 부르고, 아래와 같이 표현할 수 있다.
예시
Exponential family에 포함되는 분포로는 정규 분포(Normal distribution), 지수 분포(Exponential distribution), 감마 분포(Gamma distribution) 등 다양한 예시가 있다. 우리는 그 중에서도, 베르누이 분포(Bernoulli distribution)이 왜 exponential family인지에 대해 알아보겠다.
우선, 베르누이 분포의 pdf는 아래와 같이 표현할 수 있다.
이를 exponential family로 표현하는 다양한 방법이 있겠지만, unique한 eta를 가지는 exponential family의 minimal representation으로 표현하기로 한다. 이를 위해서 우리는 위 식을 아래와 같이 표현할 수 있다.
이 때, exponential family의 각 변수는 아래와 같다.
이번 포스팅에서는 exponential family에 대해 알아보았다. Exponential family는 이외에도 log partition function을 미분함으로써 cumulant 값을 얻을 수 있다는 등의 다양한 활용이 가능하기 때문에, 머신러닝을 공부해나가면서 활용할 기회가 많을 것이다.
References
1. Probabilistic Machine Learning: An Introduction by Kevin Patrick Murphy. MIT Press, February 2022.
최근댓글