Machine Learning - Thoery/Traditional ML
Decision Tree의 Impurity 지표 (Entropy, GINI index, GR)
* 이번 포스팅은 Decision Tree에 대한 기본적인 이해가 있다는 것을 가정한다. Decision Tree는 데이터를 이용하여 tree 구조를 만드는 것을 통해 이를 분류하거나 결과값을 예측하는 분석 방법을 말한다. 이 Decision Tree를 만들 때에는, 각 node들의 복잡성, 즉 impurity가 가장 낮은 방향으로 tree가 만들어진다. 즉, 결과 노드 (leaf node) 안에서 섞여 있는 정도가 낮은 tree를 만드는 것이 목표인 것이다. 그렇다면 이 복잡성을 어떻게 측정할 수 있을까? 이번 포스팅에서는 이 Impurity 지표에는 무엇이 있는지에 대해 알아보겠다. Entropy 가장 기본적인 impurity 지표는 Entropy이다. Entropy는 다음 식으로 계산할 수 있다. ..
2020. 3. 1. 20:16
최근댓글