분류 전체보기 검색 결과
213 개의 검색 결과가 있습니다.
Machine Learning - Thoery

Convex set과 affine set 설명 (convex hull이란? convex combination이란?)

Convex set은 집합의 두 점을 선으로 연결했을 때 해당 선 위의 모든 점들이 해당 집합에 포함되는 집합으로, convex optimization의 기본이 되는 개념이다. 최적화 문제를 convex function으로 변환함으로써 gradient descent 등의 방법을 통해 쉽게 해결할 수 있기 때문에, convex set은 loss를 minimize하는 것을 목적으로 하는 딥러닝을 공부하기 위해서 중요한 개념이라고 할 수 있다. 이번 글에서는 convex set이 무엇인지와 함께, convex set을 포함하는 개념인 affine set이 무엇인지에 대해서도 알아보겠다. Affine set Affine set이 무엇인지에 대해 알아보기 전에, affine combination이 무엇인지에 대해..

2022. 7. 23. 16:10
Machine Learning - Thoery/Graph Representation Learning

WL 알고리즘 설명 (Weisfeiler-Lehman 알고리즘이란? WL test란?)

Weisfeiler-Lehman 알고리즘 (WL 알고리즘)은 두 그래프가 isomorphic한지를 검사하는 알고리즘으로, 이 테스트 결과가 다르면 두 그래프는 isomorphic하지 않다고 결론내릴 수 있다. 이번 글에서는 WL 알고리즘에 예시와 함께 대해 알아보겠다. 알고리즘 WL 알고리즘은 아래와 같은 순서로 진행된다. 각 노드에 initial label을 부여한다. initial label은 무엇이 되어도 상관없으나, 노드의 degree를 label로 사용하거나, 단순히 모두 같은 label을 부여하는 방식을 사용한다. 각 노드의 neighborhood의 label의 multiset에 대한 hash 결과를 해당 노드의 label로 사용한다. 이 때, hash 함수로는 unique한 multiset을..

2022. 7. 22. 14:57
Machine Learning - Thoery/Deep Learning

GAN 설명 (Generative Adversarial Network란?, GAN 증명, GAN 한계)

GAN은 generative adversarial network의 줄임말로, VAE, diffusion model과 같은 generative model의 한 종류로써 데이터를 생성하는 generator와 데이터를 구별하는 discriminator가 경쟁하는 과정을 통해서 데이터를 학습한다. 이번 글에서는 GAN이 무엇인지와 함께, 어떤 원리로 동작하는지에 대해 수식과 함께 살펴보겠다. Motivation GAN은 앞서 언급했듯이, 데이터를 생성하는 generator와 데이터를 구별하는 discriminator로 이루어져 있다. Generator는 최대한 실제처럼 보이는 데이터를 생성함으로써 discriminator를 속이려고 시도하고, 이에 반해 discriminator는 실제 데이터와 만들어진 가짜 데..

2022. 7. 20. 15:51
Machine Learning - Thoery/Traditional ML

Logistic regression 설명 (Logistic regression과 MLE)

Logistic regression은 classification의 가장 기본이 되는 모델이다. 기본적인 linear regression이나 이의 발전된 형태인 ridge regression, laplace regression 등이 값을 예측하는 모델이었다면, logistic regression은 label을 예측하는 모델인 것이다. 이번 글에서는 logistic regression이 무엇이고, 이의 parameter를 MLE를 활용하여 어떻게 estimation할 수 있는지에 대해 알아보겠다. 정의 Logistic regression은 1인지 0인지를 classiication하는 binary classification이라고 가정했을 때, 다음과 같은 아주 간단한 식으로 정의할 수 있다. 위 식에서 Ber..

2022. 7. 7. 18:14
Machine Learning - Thoery/Graph Representation Learning

Graph isomorphism 설명 (그래프 동형이란? Graph isomorphism 활용 및 검증)

Isomorphic graph는 노드의 ordering의 차이로 인해 다르게 표현되지만 완전히 같은 구조를 가지고 있는 그래프들을 말한다. 이번 글에서는 graph isomorphism이 무엇인지에 대해 알아보고, 이것이 graph representation을 표현할 때 어떻게 활용될 수 있는지에 대해 알아보겠다. 정의 Isomorphic graph는 위에서 언급했듯이, 노드의 ordering의 차이로 인해 다르게 표현되지만 완전히 같은 구조를 가지고 있는 그래프들을 말한다. 예를 들어, 다음과 같은 두 그래프가 있다고 하자. 두 그래프를 비교해 보면 다르게 생긴 것처럼 보인다. 하지만, 각 노드가 연결된 구조를 살펴보면 두 그래프가 정확히 같은 구조를 가지고 있는 것을 알 수 있다. 각 노드가 가지고 ..

2022. 4. 15. 19:40
Machine Learning - Thoery/Graph Representation Learning

Stochastic Block model 설명 (SBM이란? SBM의 장점)

Stochastic block model (SBM)은 특정 노드끼리 community structure를 가지는 그래프를 만들 수 있는 generative model이다. 이번 글에서는 stochastic block model이 무엇인지와 함께 그것의 장점에 대해 알아보겠다. 정의 Stochastic block model은 위에서 언급했듯이 특정 노드끼리 community structure를 가진다. 즉, 각 노드들이 서로 가까운 관계를 가지는 노드들도 있고, 서로 먼 관계를 가지는 노드들도 있는데, 가까운 관계를 가지는 노드끼리 community를 형성하는 구조를 반영할 수 있는 것이다. SBM을 정의하기 위해서는 몇 가지의 개념을 정의해야 한다. 우선, 우리에게 $\gamma$개의 block이 있다고..

2022. 4. 14. 20:41
Machine Learning - Thoery/Graph Representation Learning

BA model 설명 (Barabási–Albert model이란?)

Barabasi-Albert model (BA model)은 graph를 만드는 generative model 중 하나로, 노도의 degree에 비례해서 해당 노드에 엣지가 붙을 확률이 결정되는 모델이다. 이번 글에서는 BA model이 무엇인지에 대해 알아보고, 그것의 특징도 함께 살펴보겠다. 정의 Barabasi-Albert model은 위에서도 언급했듯이 노드의 degree에 비례해서 해당 노드에 엣지가 붙을 확률이 결정된다. 각 노드 i에 새로운 노드가 붙을 확률을 식으로 표현하면, 아래와 같이 정의할 수 있다. 위 식에서 p_i는 노드 i에 새로운 노드가 붙을 확률을 의미하고, k_i는 노드 i의 degree를 의미한다. 예를 들어서, 현재 노드 1, 2, 3이 만들어져있고 1과 2, 2와 3이..

2022. 4. 7. 20:44
Machine Learning - Thoery/Graph Representation Learning

Message passing neural network 설명 (MPNN 설명, 장점, 예시)

Message passing neural network (MPNN)는 graph neural network (GNN)의 가장 기본이 되는 프레임워크로, 노드의 이웃들의 정보를 이용해서 해당 노드의 상태를 업데이트하는 형태를 가지는 모든 neural network들을 말한다. 이번 글에서는 MPNN이 무엇인지에 대해 알아보겠다. 구조 MPNN은 기본적으로 정보를 aggregate하고 update하는 message passing phase와 이를 활용해서 결과를 도출하는 readout phase로 이루어진다. message passing phase message passing phase는 정보를 aggregate하는 역할을 하는 message function과 hidden state를 update하는 역할을..

2022. 4. 2. 20:00
Machine Learning - Thoery/Graph Representation Learning

GraphRNN 설명 (GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models 논문 리뷰)

GraphRNN은 graph generative model의 하나로, RNN처럼 sequential하고 autoregressive하게 노드와 엣지를 추가함으로써 그래프를 생성하는 모델을 말한다. 이번 글에서는 GraphRNN이 무엇인지에 대해서 GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models 논문을 리뷰하면서 알아보겠다. * 이 글은 RNN에 대한 기본적인 이해가 있다고 가정한다. 배경 우선, GraphRNN이 제안된 배경에 대해 먼저 살펴보겠다. GraphRNN은 아래 그림과 같이 sequential하고 autoregressive하게 노드와 엣지를 추가함으로써 그래프를 생성한다. (Autoregressive는 앞서 만들어진 ..

2022. 4. 1. 20:00
Machine Learning - Thoery/Deep Learning

VAE 설명 (Variational autoencoder란? VAE ELBO 증명)

Variational autoencoder, 줄여서 VAE는 GAN, diffusion model과 같이 generative model의 한 종류로, input과 output을 같게 만드는 것을 통해 의미 있는 latent space를 만드는 autoencoder와 비슷하게 encoder와 decoder를 활용해 latent space를 도출하고, 이 latent space로부터 우리가 원하는 output을 decoding함으로써 data generation을 진행한다. 이번 글에서는 VAE가 무엇이고, 어떻게 작동하는지를 최대한 쉽게 살펴보겠다. * 이 글은 MLE 및 bayes theory에 대한 기본적인 이해가 있다고 가정한다.구조 및 학습 많은 generative model들이 그렇듯이, ..

2022. 3. 31. 20:30
Machine Learning - Thoery/Graph Representation Learning

Permutation invariance와 permutation equivariance 차이 설명

그래프는 adjacency matrix로 표현될 수 있는데, 이 adjacency matrix는 node의 순서 (ordering)가 바뀜에 따라 같은 그래프를 표현하더라도 다르게 표현될 수 있다. Permutation invariance와 permutation equivariance는 그래프에서 노드의 ordering이 바뀔 때 function의 output이 어떻게 바뀌는지를 설명한다. 이번 글에서는 permutation invariance와 permutation equivariance가 각각 무엇이고, 둘의 차이점이 무엇인지에 대해 알아보겠다. Permutation invariance Permutation invariance는 adjacency matrix의 순서가 바뀌더라도 그 output이 변하..

2022. 3. 30. 22:32
Machine Learning - Thoery/Graph Representation Learning

Chemical VAE 설명 (Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules 논문 리뷰)

Chemical VAE는 어떤 분자 (molecule) 구조를 continuous representation으로 표현하고, 이 continuous representation에 대해 optimization을 통해 최적의 분자 구조를 도출하는 것을 목적으로 한다. 이번 글에서는 graph generative / optimization model 중 하나인 chemical VAE (해당 논문의 github이 chemical VAE라는 이름을 택하고 있어서 이 이름을 사용했다. 논문에는 따로 method를 부르는 이름은 없다.)가 무엇인지에 대해서, Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules 논문을 리뷰..

2022. 3. 29. 22:06
Machine Learning - Thoery/Graph Representation Learning

SMILES 표기법이란? (SMILES representation 설명 및 장단점)

SMILES 표기법은 Simplified Molecular Input Line Entry System의 준말로, 분자 구조를 string 형태로 표현하여 NLP에 활용된 다양한 머신러닝 / 딥러닝 알고리즘들을 분자 구조에도 적용할 수 있게 해주는 표기법이다. 이번 글에서는 SMILES 표기법을 어떻게 쓸 수 있는지와 함께 이의 장단점에 대해서 알아보겠다. SMILES 구성 요소 SMILES 표기법을 구성하는 요소는 크게 다섯가지로 나눌 수 있고, 이는 원자 (atom), 결합 (bond), 고리 (ring), 방향족 (aromaticity), 그리고 가지 (branch)이다. 각 요소들에 대해서 차례대로 알아보겠다. 원자 (atom) SMILES 표기법에서 각 원자는 해당하는 원소 기호로 표시하고, 수소..

2022. 3. 13. 16:44
Machine Learning - Thoery/Graph Representation Learning

Graph Laplacian 설명 (Unnormalized Laplacian, Normalized Laplacian)

Graph Laplacian은 Adjacency matrix 를 다양한 방법으로 변형하여 그래프를 표현할 수 있게 한 행렬들을 말한다. 이번 글에서는 이 Graph Laplacian의 종류 중 하나인 unnormalized Laplacian, normalized Laplacian의 정의와 특성들에 대해 알아보겠다. Unnormalized Laplacian Laplacian matrix 중 가장 기본이 되는 matrix가 unnormalized Laplacian이다. 이는 다음과 같이 정의한다. 위 식에서 D는 degree matrix, A는 adjacency matrix이다. 그러므로 unnormalized Laplacian matrix의 각 성분(L[i,j])은, (self-loop가 없는 그래프 가정..

2022. 2. 15. 21:00
Machine Learning - Thoery/Graph Representation Learning

Katz index란? (Katz index 증명, Adjacency matrix 설명)

local neighborhood를 활용한 measure들은, 두 노드가 공통된 이웃을 가지고 있지 않는 상황에서는 두 노드 간의 관계에 대해 추론하기 힘들다. 그러므로 이번 글에서는, 이러한 한계점을 해결하기 위해 도출된 개념인 그래프 전체를 고려하여 두 노드 간의 관계를 표현하는 Katz index에 대해 알아보고, 이와 함께 Adjacency matrix가 무엇이고 특성이 무엇인지에 대해 알아보겠다. 정의 Katz index는, 두 노드 사이의 모든 길이의 path의 빈도를 의미한다. 즉, 수학적으로 정의하면 아래와 같이 정의할 수 있다. 위 식에서 i는 두 노드 사이의 path의 길이를 의미하고, beta값은 긴 path에 대해 얼마나 weight를 줄 것인지를 결정한다. 예를 들어, beta가 ..

2022. 2. 9. 23:23
Machine Learning - Thoery/Graph Representation Learning

두 노드 사이의 관계를 표현하는 Local overlap measure (Sorensen index, Salton index, Jaccard overlap, RA index, AA index)

우리는 그래프를 활용해서 어떤 예측을 할 때, 하나의 노드가 어떤 특성을 가지고 있는지를 예측하기도 하지만 (node classification), 두 노드 사이의 관계를 예측하기(link prediction)도 한다. 이번 글에서는 두 노드 사이의 관계를 표현하는 가장 기본이 되는 척도인 neighborhood overlap, 그 중에서도 local overlap measure에 대해서 알아보겠다. 우선, 두 노드 사이의 neighborhood overlap은 말 그대로 몇 개의 이웃(직접 연결된 노드)을 공유하고 있는지를 의미한다. 이를 식으로 나타내면 다음과 같다. 위 식은 다른 말로 common neighbors라고도 부른다. 예를 들어, 다음과 같은 그래프가 있다고 하자. 그림에도 나타나 있듯이..

2022. 2. 8. 22:53