머신러닝(혹은 통계학)을 공부하다 보면, parametric/non-parametric model이나 parametric/non-parametric test와 같은 단어를 자주 접할 수 있다. 이번 포스팅에서는 parametric model과 non-parametric model의 뜻과 함께 그 종류에는 무엇이 있는지, 그리고 각각의 장단점이 무엇인지에 대해 알아보겠다.
정의
머피의 머신러닝 책에서는 parametric model과 non-parametric model을 아래와 같이 정의한다.
- Parametric model: The model has a fixed number of parameters. 모델의 파라미터 수가 정해져 있다.
- Non-parametric model: The number of parameters grow with the amount of training data. 파라미터의 수가 학습 데이터의 크기에 따라 달라진다.
즉, parametric model은 데이터가 특정 분포를 따른다고 가정하고, 우리가 학습을 하면서 결정해야 하는 (분포의) 파라미터의 종류와 수가 명확하게 정해져 있다. 즉, 데이터가 얼마나 많든 간에 우리가 결정해야 할 파라미터의 수는 변하지 않는 것이다. 그러므로 parametric model은 우선 모델의 형태를 정하고, 이 모델의 파라미터를 학습을 통해 발전시켜나가는 식으로 알고리즘이 진행된다.
반면에 non-parametric model은 데이터가 특정 분포를 따른다는 가정이 없기 때문에 우리가 학습에 따라 튜닝해야 할 파라미터가 명확하게 정해져 있지 않은 것이다. 그러므로 non-parametric model은 우리에게 data에 대한 사전 지식이 전혀 없을 때 유용하게 사용될 수 있다.
종류와 장단점
- Parametric model: Linear regression, Logistic regression, Bayesian inference, Neural network(CNN, RNN 등) 등. 모델이 학습해야 하는 것이 명확히 정해져 있기 때문에 속도가 빠르고, 모델을 이해하기가 쉽다는 장점이 있다. 하지만 데이터의 분포가 특정한 분포를 따른다는 가정을 해야 하기 때문에 flexibility가 낮고, 간단한 문제를 푸는 데에 더 적합하다는 단점을 가진다.
- Non-parametric model: Decision tree, Random forest, K-nearest neighbor classifier 등. 데이터가 특정한 분포를 따른다는 가정을 하지 않기 때문에 더 flexible하다는 장점이 있다. 하지만 속도가 느린 경우가 많고, 더 큰 데이터를 필요로 하는 경우가 있으며 모델이 왜 그런 형태가 되었는지에 대한 명확한 설명을 하기가 쉽지 않다.
이번 포스팅에서는 parametric model과 non-parametric model의 정의와 함께 그것의 특징과 종류에 대해 알아보았다. 아직 머신러닝 포스팅 갈 길이 멀다~
References
1. Machine Learning: A Probabilistic Perspective (Adaptive computation and Machine Learning Series) by Kevin P. Myrphy (Author). Chapter 1.
최근댓글