Data Mining 검색 결과

13 개의 검색 결과가 있습니다.

Machine Learning - Thoery

RFE와 RFECV (Recursive Feature Elimination이란?)

데이터 분석에 드는 노력의 80%, 어쩌면 그 이상은 모델링이 아닌 데이터의 특성을 파악하는 EDA, missing value를 처리하는 등의 정제 작업을 진행하는 데이터 전처리, 좋은 모델링을 위해 적절한 feature를 선택하는 feature selection의 데이터 그 자체의 특성을 파악하고 이를 정제하는 데에 소요된다. 이번 포스팅에서는 feature selection의 한 방법인 RFE (Recursive Feature Elimination)와 RFECV(Recursive Feature Elimination with Cross Validation)에 대해 알아볼 것이다. Feature Selection 먼저, feature selection이 무엇인지에 대해 간략하게 설명하겠다. 우리는 데이터..

2021. 3. 1. 18:13

Machine Learning - Thoery/Traditional ML

Ridge Regression(Penalized Least Squares)이란? (Ridge regression 증명)

Ridge regression은 linear regresssion에 regularizer를 추가하여 overfitting을 방지한 regression 방법으로, MAP estimation을 통해서 모델링을 한다는 특징을 가진다. 이번 포스팅에서는 Linear Regression에 이어 Ridge Regression(Penalized Least Squares)이 무엇이고 이것이 작동하는 수학적 원리가 무엇인지, 그리고 이것이 단순한 Linear Regression(Least Squares)에 비해 overfitting에 강한 이유에 대해 알아보겠다. 이번 포스팅은 maximum likelihood와 MAP estimation에 대한 이해가 있다고 가정한다. Motivation 우리가 Least Square..

2020. 11. 13. 00:26

Machine Learning - Thoery/Traditional ML

Linear Regression이란? (선형회귀란?, linear regression과 MLE)

Linear regression은 데이터 간의 선형적인 관계를 가정하여 어떤 독립 변수 x가 주어졌을 때 종속 변수 y를 예측하는 모델링 방법이다. 이번 글에서는 머신 러닝 공부를 시작하면 가장 먼저 배우는 개념 중 하나인, linear regression에 대해 알아보겠다. 이번 포스팅은 maximum likelihood에 대한 이해가 있다고 가정한다. Motivation 다음과 같은 데이터가 있다고 하자. 우리는 x값을 넣었을 때 y값을 예측하는 모델을 만들고 싶다. 이를 예측하는 하나의 선을 정하는 과정에서, 우리는 다음과 같은 여러 선들을 그릴 수 있을 것이다. 두 선 중 어떤 것이 데이터(점)를 더 정확하게 예측하는 것처럼 보이는가? 모두가 왼쪽이 더 정확하게 예측한다고 생각할 것이다. 왜 그렇..

2020. 10. 7. 23:15

Machine Learning - Thoery

Hierarchical Clustering이란? (Agglomerative Hierarchical Clustering, Divisive Hierarchical Clustering)

Hierarchcical Clustering(Hierarchical cluster analysis, HCA), 즉 계층적 군집 분석은 말 그대로 데이터 하나하나를 계층에 따라 순차적으로 클러스터링 하는 기법이다. 이번 포스팅에서는 Hierarchical Clustering이 무엇인지에 대해 알아보겠다. 알고리즘 우선, Agglomerative Hierarchical Clustering의 알고리즘에 대해 설명하도록 하겠다. 이 알고리즘은 각 데이터가 모두 나눠져있는 상태에서, 작은 단위로부터 클러스터링을 시작하여 모든 데이터를 묶을 때까지 반복하는 Bottom Up 방식으로 클러스터링을 진행한다. 다음과 같은 예시 데이터가 있다고 하자. 각 원은 하나의 데이터를 말한다. 우리는 이 6개의 데이터에 대해 클..

2020. 9. 4. 17:00

Machine Learning - Thoery

AprioriAll algorithm이란? (AprioriAll 알고리즘이란?)

2020년의 첫 글 및 한국에서 쓰는 첫 글 ㅎㅎ 너무 오래 쉬었다. 대구에서 집 밖에 전혀 나갈 수가 없기 때문에.. 하나의 스팀 게임을 일주일 동안 75시간 플레이한 끝에 드디어 키보드를 잡았다. 앞으로 한 달 동안 뭘 해야할지 심각하게 고민이다... 일 시켜 주세요... * 이 포스팅은 Sequence Mining에 대한 기본적인 이해가 있다는 가정하에 진행된다. Sequence Mining이란, 아이템들의 ordering을 분석하여 이를 다양한 방법으로 활용하는 것을 말한다. Sequence mining을 통해 어떤 sequence가 어떤 빈도로 출현했는지, 다음 아이템은 무엇일지 예측하는 것 등이 가능하다. 하지만 우리가 가지고 있는 모든 아이템셋들에 대해서 빈도를 하나하나 찾아보는 것은 굉장히..

2020. 3. 1. 19:25

Machine Learning - Thoery/Probability & Statistics

Kernel Method란? (Kernel density estimation이란?) - Parzen window란?

어떤 데이터의 분포를 파악하는 것은 데이터 분석에 있어서, 나아가 머신 러닝에 있어서 굉장히 중요한 단계이다. 하지만 실제 데이터는 대부분의 경우에 정규 분포와 같은 예쁜 분포 형태를 따르지 않고, 어떤 분포를 따르는지 전혀 알 수가 없다. 이런 경우에 데이터의 분포를 추정하여 확률 밀도(probability density)를 추정하는 방법에는 histogram, kernel density estimation, K-nearest neighbor 등 다양한 방법이 있다. 이번 포스팅에서는 그 중에서 kernel density estimation (kernel method), 그리고 그 대표적인 방법인 parzen window에 대해 알아볼 것이다. Motivation 우리의 목표는 확률 밀도(probabi..

2019. 12. 2. 22:29

Machine Learning - Thoery

FP-Growth 알고리즘이란? (FP-growth algorithm이란?)

Association Rule의 적용을 위해서는, 각 item들이 각 itemset 안에서 어떤 빈도로 출현했는지, 어떤 item과 함께 나왔는지를 세는 것이 필수적이다. (Association Rule이 무엇인지 궁금하다면 다음 포스팅을 참고한다.) 2019/08/01 - [Data Mining - Thoery] - Association Rule (연관 규칙)이란? Association Rule (연관 규칙)이란? 첫 데이터 마이닝 포스팅이다. 데이터 마이닝은 관련 포스팅이 너무 많기도 하고, 나보다 잘 아시고 글 잘 쓰시는 분들이 세상에 차고 넘칠 것 같아 (아 물론 프로세스 마이닝도 나보다 세상에 잘 아시는 분들이.. process-mining.tistory.com 하지만 데이터셋이 큰 경우, 이를..

2019. 11. 29. 02:28

Process Mining & Data Mining

Decision Tree와 프로세스 마이닝 (Decision Mining)

저어어엉말 오랜만에 Process Mining & Data Mining 주제로 글을 쓴다. 이 파트는 나의 주관적인 생각이 들어갈 가능성이 있는데 내가 그럴 능력이 되나.. 하는 생각에 항상 글을 쓰기가 부담스럽고 망설여진다. 이번 포스팅은 Decision Tree가 프로세스 마이닝과 어떻게 연관되어 있는지에 대해 알아보겠다. Decision Tree가 무엇인지 모른다면 다음 포스팅을 참고하도록 한다. 2019/08/04 - [Process Mining & Data Mining] - Decision Tree(의사 결정 나무)란? Decision Tree(의사 결정 나무)란? Decision Tree는 데이터를 이용하여 이를 분류하거나 원하는 어떤 결과값을 예측하는 분석 방법을 말한다.이번 포스팅에서는 D..

2019. 9. 3. 02:55

Process Mining & Data Mining

Sequence Mining이란?

Association Rule은 어떤 아이템과 다른 아이템의 연관성을 찾는 것을 목표로 한다. 하지만 Association Rule은 아이템들의 ordering은 고려하지 않는다는 한계점을 가진다. 즉, 내가 광어와 간장을 사면 와사비도 살 것이라는 것을 예측할 수는 있지만, 청하를 산 다음날에 광어와 간장과 와사비를 살 것이라는 것을 예측할 수는 없다. 회.. 먹고 싶다.. 이러한 한계점을 극복하는 것이 Sequence Mining이다. 이번 포스팅에서는 Sequence Mining이 무엇인지에 대해 알아보겠다. Sequence Mining이란? Subsequence Subseuence의 정의는 다음과 같다. 예를 들어, sequence 가 있다고 하자. 이 sequence는 의 subsequence이..

2019. 8. 4. 22:39

Machine Learning - Thoery/Traditional ML

Decision Tree(의사 결정 나무)란? (Decision tree 설명)

Decision Tree는 tree 구조를 활용하여 entropy가 최소화되는 방향으로 데이터를 분류하거나 원하는 어떤 결과값을 예측하는 분석 방법을 말한다. 이번 포스팅에서는 Decision Tree가 무엇이고, 이를 어떻게 만들 수 있는지를 알아보겠다. Decision Tree란? Decision Tree란, 위에서도 말했듯이 데이터를 이용하여 이를 분류하거나 결과값을 예측하는 분석 방법을 말한다. 결과 모델이 Tree 구조를 가지고 있기 때문에 Decision Tree라는 이름을 가진다. 그림을 보면 더 쉽게 이해가 가능하다. 이 decision tree는 나이를 예측하는 decision tree이다. 그림을 해석하면 다음과 같다. 담배를 피는 사람 (smoker - yes)이라면 나이가 어리다. ..

2019. 8. 4. 21:31

Process Mining & Data Mining

Working-together social network란?

저번 포스팅에서 이벤트 로그로부터 도출한 social network인 handover of work social network에 대해 알아보았다. 이번에는 또 다른 이벤트 로그로부터 도출할 수 있는 social network인 working-together social network에 대해 알아보겠다. Working-together social network란? Working-together social network란, 구성원들 중 누가 일을 함께 하는지를 표시한 social network이다. 여기서 일을 함께 한다는 것은 하나의 같은 케이스 안에서 일을 하는 것을 의미한다. 예를 들어, 다음과 같은 이벤트 로그가 있다고 하자. 이 이벤트 로그에서, 앞의 trace를 case 1이라고 하고 뒤 tra..

2019. 8. 3. 21:30

Process Mining & Data Mining

Social Network(사회 연결망)란? (소셜 네트워크와 프로세스 마이닝)

Social Network란, 사회를 이루는 구성 요소들 간의 관계를 나타낸 네트워크를 말한다. 이번 포스팅에서는 소셜 네트워크가 무엇이고, 그것의 구성요소가 무엇인지에 대해 알아보겠다. Social Network의 구성 요소 Social Network는 node와 arc로 구성된다. 간단한 예시를 통해 살펴 보자. Node Node는 social network 내의 구성 요소(사람, 부서 등)를 말한다. 위 그림에서는 타원으로 표현된 x, y, z가 node이다. 타원의 크기는 보통 그 구성 요소(entity)의 weight를 말한다. 이 weight는 해당 구성 요소가 나타난 빈도일 수도 있고, 다른 요소로 정의할 수도 있다. 이는 타원의 색깔로 표현되기도 한다. Arc Arc는 social netw..

2019. 8. 1. 06:24

Machine Learning - Thoery

Association Rule (연관 규칙)이란?

첫 데이터 마이닝 포스팅이다. 데이터 마이닝은 관련 포스팅이 너무 많기도 하고, 나보다 잘 아시고 글 잘 쓰시는 분들이 세상에 차고 넘칠 것 같아 (아 물론 프로세스 마이닝도 나보다 세상에 잘 아시는 분들이 차고 넘침) 이를 따로 쓸지 말지 고민을 좀 했는데, 각 데이터 마이닝 방법들이 프로세스 마이닝과 어떻게 연관되어 있는지를 설명하기 위한 밑바탕으로 그냥 글을 쓰려고 한다. (그리고 방금 구글에 오늘의 주제를 검색하고 왔는데 마음에 드는 포스팅이 별로 없다 ㅎㅎ 물론 내 것도 남들에게 그렇게 보이겠지만.. 하하) 데이터 분석을 공부하는 사람이라면 누구나 한 번 쯤 들어보았을 예시가 있다. 바로, 마트에서 기저귀를 사 가는 사람들은 맥주를 같이 사간다는 예시이다. 이렇게 어떤 사건이 얼마나 자주 함께 ..

2019. 8. 1. 05:44