Regression 검색 결과

3 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Traditional ML

Robust Linear Regression이란? (Laplace regression, Huber regression 장점, Huber loss)

이번 포스팅에서는 Linear Regression과 Ridge Regression에 이어 Robust linear regression의 종류 중 하나인 Laplace Regression과 Huber Regression, 그리고 이들의 장점과 단점에 대해 알아보겠다. * 이번 포스팅은 Linear Regression에 대한 이해가 있다고 가정한다. Robust Linear Regression 가장 기본적인 형태의 Linear Regression인 Least Squares는 다음과 같은 RSS(Residual Sum of Squares)를 최소화하는 w를 찾는 것을 목적으로 했다. 하지만 위 형태와 같은 RSS를 최소화하는 모델을 만들 때 다른 데이터들과는 값이 많이 다른 아웃라이어가 데이터에 존재한다면, ..

2020. 11. 15. 16:54

Machine Learning - Thoery/Traditional ML

Ridge Regression(Penalized Least Squares)이란? (Ridge regression 증명)

Ridge regression은 linear regresssion에 regularizer를 추가하여 overfitting을 방지한 regression 방법으로, MAP estimation을 통해서 모델링을 한다는 특징을 가진다. 이번 포스팅에서는 Linear Regression에 이어 Ridge Regression(Penalized Least Squares)이 무엇이고 이것이 작동하는 수학적 원리가 무엇인지, 그리고 이것이 단순한 Linear Regression(Least Squares)에 비해 overfitting에 강한 이유에 대해 알아보겠다. 이번 포스팅은 maximum likelihood와 MAP estimation에 대한 이해가 있다고 가정한다. Motivation 우리가 Least Square..

2020. 11. 13. 00:26

Machine Learning - Thoery/Traditional ML

Linear Regression이란? (선형회귀란?, linear regression과 MLE)

Linear regression은 데이터 간의 선형적인 관계를 가정하여 어떤 독립 변수 x가 주어졌을 때 종속 변수 y를 예측하는 모델링 방법이다. 이번 글에서는 머신 러닝 공부를 시작하면 가장 먼저 배우는 개념 중 하나인, linear regression에 대해 알아보겠다. 이번 포스팅은 maximum likelihood에 대한 이해가 있다고 가정한다. Motivation 다음과 같은 데이터가 있다고 하자. 우리는 x값을 넣었을 때 y값을 예측하는 모델을 만들고 싶다. 이를 예측하는 하나의 선을 정하는 과정에서, 우리는 다음과 같은 여러 선들을 그릴 수 있을 것이다. 두 선 중 어떤 것이 데이터(점)를 더 정확하게 예측하는 것처럼 보이는가? 모두가 왼쪽이 더 정확하게 예측한다고 생각할 것이다. 왜 그렇..

2020. 10. 7. 23:15