Machine Learning - Thoery/Traditional ML 검색 결과

15 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Traditional ML

SentencePiece 설명 (SPM 설명, SentencePiece 예시)

SentencePiece는 pre-tokenization을 필요로 하지 않는 tokenizer의 하나로, 어떤 언어에도 자유롭게 적용될 수 있고 속도도 굉장히 빠르기 때문에 NLP에서 널리 사용되는 tokenizer이다. 이번 글에서는 SentencePiece가 무엇인지와 함께 이를 어떻게 활용할 수 있는지 에 대한 예시 코드도 함께 살펴보겠다. 설명 SetencePiece는 간단하게 말하면 기존에 존재하던 unigram, BPE와 같은 tokenizer들을 모든 언어에 대해 적용이 가능하도록 generalize하고 약간의 추가적인 기능들을 더해서 구현한 것이다. 특별히 새로운 알고리즘을 제시했다기보다는, 기존의 tokenizer들을 좀 더 사용하기 편하고 성능이 좋게 개선했다고 생각하면 되겠다. Sen..

2022. 12. 1. 06:00

Machine Learning - Thoery/Traditional ML

Unigram tokenizer 설명 (unigram 설명, 장단점)

Unigram tokenizer는 BPE와 같이 문장 혹은 단어 안에 있는 글자들을 적절한 단위로 나누는 subword tokenizer의 하나로, 큰 vocabulary로부터 필요하지 않은 토큰을 하나씩 줄여나감으로써 최종적인 token들을 도출하는 알고리즘이다. 이번 글에서는 Unigram tokenizer가 어떻게 토큰들을 만들어내는지에 대해 알아보겠다. Unigram tokenizer 알고리즘 우선, unigram tokenizer를 한 눈에 볼 수 있게 표현하면 다음과 같다. Unigram 알고리즘은 BPE와 동일하게 기본적으로 문장이 pre-tokenize 되어 있다고 가정한다. 즉, 하나의 문장이 모두 이어져 있는 것이 아닌 띄어쓰기 등으로 분리되어 있다고 가정하는 것이다. 우리의 예시 문장..

2022. 11. 30. 21:04

Machine Learning - Thoery/Traditional ML

Byte pair encoding 설명 (BPE tokenizer, BPE 설명, BPE 예시)

Byte pair encoding (BPE)는 문장 혹은 단어 안에 있는 글자들을 적절한 단위로 나누는 subword tokenizer의 하나로, token들의 빈도를 기반으로 높은 빈도의 토큰들을 merge해가며 최종 token들을 만들어내는 방법이다. 이번 글에서는 BPE가 어떻게 토큰들을 만들어내는지에 대해서 알아보겠다. BPE tokenizer 알고리즘 BPE 알고리즘을 간단하게 표현하면 다음과 같다. BPE 알고리즘은 기본적으로 문장이 pre-tokenize 되어 있다고 가정한다. 즉, 하나의 문장이 모두 이어져 있는 것이 아닌 띄어쓰기 등으로 분리되어 있다고 가정하는 것이다. 우리의 예시 문장이 "hug pug pun bun hugs"라고 하자. (아무런 뜻이 없는 그냥 예시 문장이다.) 그러..

2022. 11. 27. 18:16

Machine Learning - Thoery/Traditional ML

Probit regression 설명 (Probit function이란? Probit regression과 MLE)

Probit regression은 probit function이라고도 불리는 표준정규분포의 cdf를 활용하는 classification 방법으로, logistic regression과 비슷하게 작동하지만 미분했을 때 gradient를 정규분포를 활용하여 간단하게 표현할 수 있다는 장점을 가진다. 이번 글에서는 probit regression이 무엇인지와 함께, probit regression에 MLE를 적용하는 방법에 대해 알아보겠다. 정의 Probit function 우선, probit regression에 대해 알아보기 전에 probit function이 무엇인지에 대해 알아보겠다. Probit function은 앞서 언급한 것처럼 표준정규분포의 cdf를 말한다. 이는 아래와 같이 정의된다. 이러한 ..

2022. 7. 27. 00:13

Machine Learning - Thoery/Traditional ML

Logistic regression 설명 (Logistic regression과 MLE)

Logistic regression은 classification의 가장 기본이 되는 모델이다. 기본적인 linear regression이나 이의 발전된 형태인 ridge regression, laplace regression 등이 값을 예측하는 모델이었다면, logistic regression은 label을 예측하는 모델인 것이다. 이번 글에서는 logistic regression이 무엇이고, 이의 parameter를 MLE를 활용하여 어떻게 estimation할 수 있는지에 대해 알아보겠다. 정의 Logistic regression은 1인지 0인지를 classiication하는 binary classification이라고 가정했을 때, 다음과 같은 아주 간단한 식으로 정의할 수 있다. 위 식에서 Ber..

2022. 7. 7. 18:14

Machine Learning - Thoery/Traditional ML

K-nearest neighbors(KNN)이란? (KNN 설명, Voronoi tessellation이란?)

K-nearset neighbors (KNN) 는 주어진 데이터에서 가장 가까운 데이터들의 label을 활용하여 해당 데이터의 분류를 진행하는 기법이다. 이번 포스팅에서는 대표적인 non-parametric model인 K-nearest neighbor classifier에 대해 알아보겠다. Motivation K-nearest neighbor classifier의 작동 원리는 정말 간단하다. 예를 들어, 다음과 같이 빨강 초록 파랑 3가지 색으로 label된 데이터가 있다고 하자. 이렇게 미리 주어진 데이터가 있는데, 우리는 다음과 같은 노란 점이 빨강 초록 파랑 중 어떤 색을 가질지를 알고 싶다. 우리의 직관으로 주위에 빨강이 대부분이니까 저 노란색 점도 빨강일 것이라고 쉽게 예측할 수 있다. 이러한..

2020. 11. 22. 21:55

Machine Learning - Thoery/Traditional ML

Parametric model과 Non-parametric model

머신러닝(혹은 통계학)을 공부하다 보면, parametric/non-parametric model이나 parametric/non-parametric test와 같은 단어를 자주 접할 수 있다. 이번 포스팅에서는 parametric model과 non-parametric model의 뜻과 함께 그 종류에는 무엇이 있는지, 그리고 각각의 장단점이 무엇인지에 대해 알아보겠다. 정의 머피의 머신러닝 책에서는 parametric model과 non-parametric model을 아래와 같이 정의한다. Parametric model: The model has a fixed number of parameters. 모델의 파라미터 수가 정해져 있다. Non-parametric model: The number of p..

2020. 11. 22. 20:59

Machine Learning - Thoery/Traditional ML

Robust Linear Regression이란? (Laplace regression, Huber regression 장점, Huber loss)

이번 포스팅에서는 Linear Regression과 Ridge Regression에 이어 Robust linear regression의 종류 중 하나인 Laplace Regression과 Huber Regression, 그리고 이들의 장점과 단점에 대해 알아보겠다. * 이번 포스팅은 Linear Regression에 대한 이해가 있다고 가정한다. Robust Linear Regression 가장 기본적인 형태의 Linear Regression인 Least Squares는 다음과 같은 RSS(Residual Sum of Squares)를 최소화하는 w를 찾는 것을 목적으로 했다. 하지만 위 형태와 같은 RSS를 최소화하는 모델을 만들 때 다른 데이터들과는 값이 많이 다른 아웃라이어가 데이터에 존재한다면, ..

2020. 11. 15. 16:54

Machine Learning - Thoery/Traditional ML

Ridge Regression(Penalized Least Squares)이란? (Ridge regression 증명)

Ridge regression은 linear regresssion에 regularizer를 추가하여 overfitting을 방지한 regression 방법으로, MAP estimation을 통해서 모델링을 한다는 특징을 가진다. 이번 포스팅에서는 Linear Regression에 이어 Ridge Regression(Penalized Least Squares)이 무엇이고 이것이 작동하는 수학적 원리가 무엇인지, 그리고 이것이 단순한 Linear Regression(Least Squares)에 비해 overfitting에 강한 이유에 대해 알아보겠다. 이번 포스팅은 maximum likelihood와 MAP estimation에 대한 이해가 있다고 가정한다. Motivation 우리가 Least Square..

2020. 11. 13. 00:26

Machine Learning - Thoery/Traditional ML

Linear Regression이란? (선형회귀란?, linear regression과 MLE)

Linear regression은 데이터 간의 선형적인 관계를 가정하여 어떤 독립 변수 x가 주어졌을 때 종속 변수 y를 예측하는 모델링 방법이다. 이번 글에서는 머신 러닝 공부를 시작하면 가장 먼저 배우는 개념 중 하나인, linear regression에 대해 알아보겠다. 이번 포스팅은 maximum likelihood에 대한 이해가 있다고 가정한다. Motivation 다음과 같은 데이터가 있다고 하자. 우리는 x값을 넣었을 때 y값을 예측하는 모델을 만들고 싶다. 이를 예측하는 하나의 선을 정하는 과정에서, 우리는 다음과 같은 여러 선들을 그릴 수 있을 것이다. 두 선 중 어떤 것이 데이터(점)를 더 정확하게 예측하는 것처럼 보이는가? 모두가 왼쪽이 더 정확하게 예측한다고 생각할 것이다. 왜 그렇..

2020. 10. 7. 23:15

Machine Learning - Thoery/Traditional ML

K-means Clustering (K-평균 군집화)이란? (K-means clustering의 장단점)

K-means clustering은 클러스터의 개수를 미리 정하여 반복적으로 클러스터의 평균을 업데이트하며 가장 가까운 점들을 군집화하는 방법으로, clustering의 가장 기본이 되는 기법이다. 이번 포스팅에서는 K-means clustering이 무엇이고, 이 알고리즘의 장단점이 무엇인지에 대해 알아보겠다. K-means clustering 알고리즘 K-means clustering은 정말 간단하게 설명될 수 있다. 우선, 다음과 같은 예시가 있다고 하자. 우리는 아래 그림의 점들을 적절하게 clustering하기를 원한다. 1. 몇 개의 덩어리로 clustering할지 정한다. 우리가 가장 먼저 해야할 일은 몇 개의 덩어리(k)로 clustering을 할 것인지 결정하는 것이다. 이 개수는 자신이..

2020. 8. 18. 21:57

Machine Learning - Thoery/Traditional ML

Decision Tree의 Impurity 지표 (Entropy, GINI index, GR)

* 이번 포스팅은 Decision Tree에 대한 기본적인 이해가 있다는 것을 가정한다. Decision Tree는 데이터를 이용하여 tree 구조를 만드는 것을 통해 이를 분류하거나 결과값을 예측하는 분석 방법을 말한다. 이 Decision Tree를 만들 때에는, 각 node들의 복잡성, 즉 impurity가 가장 낮은 방향으로 tree가 만들어진다. 즉, 결과 노드 (leaf node) 안에서 섞여 있는 정도가 낮은 tree를 만드는 것이 목표인 것이다. 그렇다면 이 복잡성을 어떻게 측정할 수 있을까? 이번 포스팅에서는 이 Impurity 지표에는 무엇이 있는지에 대해 알아보겠다. Entropy 가장 기본적인 impurity 지표는 Entropy이다. Entropy는 다음 식으로 계산할 수 있다. ..

2020. 3. 1. 20:16

Machine Learning - Thoery/Traditional ML

Random Forest란? (Random forest 설명, Random Forest의 장단점)

Random Forest는 Decision Tree들을 엮어서 Forest를 만듦으로써 더 좋은 예측을 하게 만드는 분류 기법의 하나이다. Random Forest는 Support Vector Machine, Boosting 등과 함께 아주 좋은 예측 성능을 가지는 머신 러닝 기법 중 하나이다. 이번 포스팅에서는 이 Random Forest가 무엇이고, 어떻게 만들어지는지에 대해 알아보겠다. Motivation 예를 들어, 다음과 같은 스테인드 글라스가 있다고 하자. (뜬금) 우리는 이 세 개의 스테인드 글라스의 각 칸에 대해 다음과 같이 각각 원하는 색의 진하기로 색을 칠할 것이다. 그런데 이 상황에서 이들을 바탕으로 해서 특정 부분을 딱 집으면 내가 그 부분에 대해서 어떤 색을 칠하기 싶은지를 예측한..

2019. 12. 15. 03:58

Machine Learning - Thoery/Traditional ML

Supervised Learning과 Unsupervised Learning 차이

요즘 그냥 데이터 마이닝, 머신 러닝 글 쓰는 것에 약간의 자신감과 재미가 붙었다. 프로세스 마이닝 논문 열심히 읽고 글 써도 아무도 읽지 않는 것.. ㅠㅠ 그래도 열심히 써야지 Supervised Learning과 Unsupervised Learning. 대부분의 Machine Learning, Data Science를 다루는 과목의 첫 시간에 무조건 나오는 단어들이다. 그래서 나도 이 포스팅으로 머신 러닝 글을 시작해서 하나하나 나아가려고 했지만 어쩌다 보니 이제서야 쓰게 되었다. 아무튼 이번 포스팅에서는 supervised learning과 unsupervised learning의 차이점이 무엇인지, 그리고 각각에 속해 있는 구성 요소에는 무엇이 있는지 등을 총정리해보겠다. Supervised Le..

2019. 12. 5. 06:42

Machine Learning - Thoery/Traditional ML

Decision Tree(의사 결정 나무)란? (Decision tree 설명)

Decision Tree는 tree 구조를 활용하여 entropy가 최소화되는 방향으로 데이터를 분류하거나 원하는 어떤 결과값을 예측하는 분석 방법을 말한다. 이번 포스팅에서는 Decision Tree가 무엇이고, 이를 어떻게 만들 수 있는지를 알아보겠다. Decision Tree란? Decision Tree란, 위에서도 말했듯이 데이터를 이용하여 이를 분류하거나 결과값을 예측하는 분석 방법을 말한다. 결과 모델이 Tree 구조를 가지고 있기 때문에 Decision Tree라는 이름을 가진다. 그림을 보면 더 쉽게 이해가 가능하다. 이 decision tree는 나이를 예측하는 decision tree이다. 그림을 해석하면 다음과 같다. 담배를 피는 사람 (smoker - yes)이라면 나이가 어리다. ..

2019. 8. 4. 21:31