Logistic regression은 classification의 가장 기본이 되는 모델이다. 기본적인 linear regression이나 이의 발전된 형태인 ridge regression, laplace regression 등이 값을 예측하는 모델이었다면, logistic regression은 label을 예측하는 모델인 것이다. 이번 글에서는 logistic regression이 무엇이고, 이의 parameter를 MLE를 활용하여 어떻게 estimation할 수 있는지에 대해 알아보겠다.
정의
Logistic regression은 1인지 0인지를 classiication하는 binary classification이라고 가정했을 때, 다음과 같은 아주 간단한 식으로 정의할 수 있다.
위 식에서 Ber은 Bernouii distribution, sigm은 sigmoid 함수 (다른 이름으로, logistic 함수)를 의미한다. 즉, 이를 다시 쓰면 아래 식과 같다. 즉, 우리는 주어진 x에 대해서 y를 잘 예측하는 w 값을 구하는 것을 목표로 하는 것이다.
예를 들어, 총 공부한 시간을 활용해서 학생이 시험에 통과할지의 여부를 예측하는 모델을 만든다고 하자. 이 때 우리는, 위 확률값(p)을 아래 그림과 같은 그래프로 나타낼 수 있다.
그리고 이 모델에서, 확률(y)이 0.5를 넘을 때 시험에 통과한다고 판별한다면, 우리는 공부한 시간이 약 2시간 40분을 넘어야 시험에 통과한다고 판별할 수 있을 것이다.
Logistic regression과 MLE
앞서 설명했듯이, 우리는 주어진 x에 대해서 y를 잘 예측하는 w 값을 구하는 것을 목표로 한다. 좋은 w 값을 구하기 위해서, 우리는 maximum likelihood estimation을 활용할 수 있다. 우리가 예측하는 $\tilde{y}$이 0과 1이 아닌, -1과 1이라고 하자. 그러면 우리는 각 label에 대한 likelihood를 아래와 같이 표현할 수 있다.
그러므로, 이의 negative log-likelihood는 아래 식과 같이 표현할 수 있다.
즉, 우리는 이 negative log-likelihood를 minimize하는 parameter w를 찾으면 되는 것이다. 이를 위해서 우리는 gradient descent, newton's method 등 다양한 optimization 방법들을 활용할 수 있다.
이번 글에서는 logistic regression이 무엇인지에 대해 간단하게 알아보았다. 드디어 바쁜 일이 다 끝나서 3달만에 글을 쓸 수 있었다. 이번주까지는 안식주..이고 다음주부터 약 50일까지 백수 예정이라, 글을 좀 성실하게 써보도록 하겠다..!
References
1. Machine Learning: A Probabilitstic Perspective (Adaptive Computation and Machine Learning Series) by Kevin P. Murphy (Author). Chapter 8.
최근댓글