convex optimization 검색 결과

3 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Deep Learning

Line search 설명 (Exact line search란? Backtracking line search란?)

Line serach는 convex optimization에서 learning rate의 값을 정하는 방법으로, 우리가 최소화하고 싶어하는 함숫값이 가장 작아지는 방향으로 learning rate를 정하는 것을 말한다. 적절한 learning rate를 정하는 것은 이번 글에서는 line search, 그 중에서도 exact line search와 backtracking line search가 무엇인지에 대해 알아보겠다. 정의 Line search는 앞서 말했듯이 convex optimization에서 learning rate의 값을 정하는 방법이다. Learning rate가 너무 크면 우리가 최소화하려는 값이 수렴할 수 없고, 너무 작으면 수렴하는데에 굉장히 오랜 시간이 걸리기 때문에 적절한 lear..

2022. 8. 26. 17:06

Machine Learning - Thoery

Convex function 설명 (strictly convex function, concave function)

지난 글에서 우리는 convex set이 무엇인지에 대해 알아보았다. 이번 글에서는 convex optimization의 핵심이 되는 convex function과 더불어 strictly convex function, concave function이 무엇인지와 함께 그것의 다양한 예시들에 대해 알아보겠다. 정의 Convex function 우선, convex function은 어떤 함수 $f$의 정의역이 convex set이고, 다음과 같은 식을 만족하는 함수를 말한다. 즉, convex function은 아래 그림과 같이 정의역이 convex set이고, 이 함수 위의 두 점을 선분으로 이었을 때 해당 선분 위의 모든 점들이 함수의 점보다 위에 있거나 같은 위치에 있는 함수인 것이다. 아래 그림에서 $..

2022. 7. 26. 22:07

Machine Learning - Thoery

Convex set과 affine set 설명 (convex hull이란? convex combination이란?)

Convex set은 집합의 두 점을 선으로 연결했을 때 해당 선 위의 모든 점들이 해당 집합에 포함되는 집합으로, convex optimization의 기본이 되는 개념이다. 최적화 문제를 convex function으로 변환함으로써 gradient descent 등의 방법을 통해 쉽게 해결할 수 있기 때문에, convex set은 loss를 minimize하는 것을 목적으로 하는 딥러닝을 공부하기 위해서 중요한 개념이라고 할 수 있다. 이번 글에서는 convex set이 무엇인지와 함께, convex set을 포함하는 개념인 affine set이 무엇인지에 대해서도 알아보겠다. Affine set Affine set이 무엇인지에 대해 알아보기 전에, affine combination이 무엇인지에 대해..

2022. 7. 23. 16:10