분류 전체보기 검색 결과
213 개의 검색 결과가 있습니다.
Machine Learning - Thoery/Graph Representation Learning

R-MAT 설명 (Relative molecule self-attention transformer 설명)

R-MAT는 relative molecule attention transformer의 준말로, 분자 내의 원자 간의 relative self-attention 정보를 반영하는 Transformer 기반의 그래프 pre-training 모델이다. R-MAT는 그래프 상 거리를 표현하는 neighborhood embedding, edge type을 반영하는 bond embedding, 그리고 radial basis function을 활용한 거리를 표현하는 distance embedding의 세 개의 embedding을 사용한다. 이번 글에서는 R-MAT가 무엇인지에 대해서 알아보겠다. Motivation Transformer는 absolute positional encoding, relative positi..

2023. 12. 24. 13:48
Machine Learning - Thoery/Graph Representation Learning

Graphormer 설명 (Do Transformers Really Perform Bad for Graph representation? 논문 리뷰)

Graphormer는 그래프의 구조적인 특성들을 파악할 수 있는 Transformer 기반 모델로, 각 노드의 중요성 정보를 받는 centrality encoding, 노드 간의 구조적 정보를 받는 spatial encoding, 그리고 edge feature 정보를 받는 edge encoding을 attention에 반영한다. 이번 글에서는 Graphormer가 무엇인지에 대해 알아보겠다. Motivation 트랜스포머를 그래프 데이터에 적용시키기 위해 단순히 그래프를 시퀀스 형태로 바꾸거나, GNN의 기본적인 형태에 attention을 적용하는 등의 방법들이 활용되어 왔다. 하지만 그래프는 단순한 시퀀스 데이터와는 다르게, 노드와 노드 사이의 엣지 정보를 통해서 어떤 구조를 형성한다. 이러한 구조적 ..

2023. 12. 5. 00:34
Machine Learning - Thoery/Graph Representation Learning

GROVER 설명 (Self-supervised Graph Transformer on Large-scale molecular data 논문 리뷰)

GROVER는 분자의 그래프 구조 정보와 contextual 정보를 반영하는 그래프 pre-training 모델로, 그래프 내의 local subgraph를 마스킹하고 이를 예측하는 것을 통해 적절한 노드나 엣지의 representation을 학습한다. GROVER는 GNN과 Transformer 구조를 동시에 사용함으로써 노드 주변의 local subgraph의 정보와 동시에 각 노드 간의 global relation까지 반영할 수 있게 한다. 이번 글에서는 GROVER가 무엇인지에 대해 알아보겠다. Motivation 분자 구조의 graph representation을 학습하는 것은 어려운 일이다. 이를 어렵게 만드는 가장 큰 이유는 분자의 특성을 모두 label로 매핑하기 위해서는 시간이 오래 걸리..

2023. 11. 30. 23:48
Machine Learning - Thoery/Graph Representation Learning

Variational graph auto-encoder 설명 (VGAE, GAE 설명)

Variational graph auto-encoder는 그래프 형태의 데이터에 VAE를 적용시킴으로써 그래프의 latent space를 학습하고, 이 latent variable을 활용하는 방법을 제시한 방법이다. VGAE 논문에서는 간단하게 그래프를 latent repersentation으로 학습하는 것을 목표로 하는 Graph auto-encoder (GAE)와, 이에 variational approach를 추가한 variational graph auto-encoder (VGAE) 두 가지를 제시하고 있다. 이번 글에서는 이들에 대해서 알아보겠다. Graph auto-encoder (GAE) Graph auto-encoder는 말 그대로 오토인코더를 그래프에 적용시키는 것으로, 1) 그래프를 lat..

2023. 11. 19. 18:26
Machine Learning - Thoery/Graph Representation Learning

Molecule attention transformer (MAT 설명)

Molecule attention transformer는 원자 간의 attention을 원자 간 거리와 연결 관계의 추가적인 정보를 활용하여 계산할 수 있게 한 네트워크이다. Molecule attention transformer (MAT)는 분자의 특성을 예측하는 molecule property prediction에 transformer를 사용하는 방법을 처음으로 제시한 논문이라는 의의를 가진다. 이번 글에서는 이러한 molecule attention transformer가 무엇인지에 대해 알아보겠다. Motivation 이 논문의 motivation은 한 줄로 요약하면 transformer를 분자에도 활용할 수 있는 방법이 필요하다는 것이다. Transformer는 많은 예측이나 representat..

2023. 11. 7. 00:14
Machine Learning - Thoery/Graph Representation Learning

GAT 설명 (Graph Attention Networks)

GAT는 graph attention network의 줄임말로, 각 이웃 노드들이 서로 다른 weight, 즉 attention을 가지는 것이 가능하게 한 GNN 구조이다. 이번 글에서는 GAT가 무엇인지에 대해 알아보겠다. Motivation Attention mechanism은 Transformer의 가장 기본이 되는 개념으로, input data의 모든 부분을 동일하게 다루는 것이 아닌 각 부부분들의 중요도에 따라서 어떤 부분에 집중할지의 weight를 다르게 두는 것을 말한다. 이를 그래프에 적용시켜 생각해보면 기존의 GCN 등의 GNN 구조들은 모든 이웃 노드들을 동일하게 취급해서 이들의 평균으로 현재 노드의 hidden vector를 업데이트했지만, GAT는 각 이웃 노드들의 중요도가 다르다고..

2023. 6. 28. 19:14
Machine Learning - Thoery/Graph Representation Learning

GraphSAGE 설명 (Inductive representation learning on large graphs 리뷰)

GraphSAGE는 graph sample and aggregate의 줄임말로, 기존의 GCN 등의 GNN들이 해결하지 못했던 문제인 inductive setting에서의 node classification 문제를 해결할 수 있게 한 GNN 구조이다. 이번 글에서는 GraphSAGE가 무엇인지에 대해서 알아보겠다. Motivation GraphSAGE의 motivation을 이해하기 위해서는 transductive setting과 inductive setting이 무엇인지부터 알아야 한다. Transductive setting Transductive setting은 주어진 데이터셋에 대해서만 prediction을 진행하는 것을 말한다. 이러한 setting에서는 현재까지는 관측되지 않은 (unseen) ..

2023. 6. 24. 17:25
Machine Learning - Thoery/Graph Representation Learning

Graph isomorphism network 설명 (GIN 설명, GNN expressive power)

GIN은 graph isomorphism network의 줄임말로, WL test와 같은 강력한 expressive power를 가지고 있기 때문에 가장 널리 쓰이는 GNN 구조 중 하나이다. 이번 글에서는 GIN이 무엇인지와 함께 GNN의 expressive power가 어떻게 정의되는지에 대해서 알아보겠다. Motivation GIN의 motivation을 설명하기 위해서는 GNN의 expressive power가 무엇인지에 대한 정의가 필요하다. Message passing neural network (MPNN)의 정의에서 살펴보았듯이, GNN의 layer는 aggregate (message) function과 combine (update) function으로 구성된다. 이러한 aggregate와 ..

2023. 1. 29. 20:23
Machine Learning - Thoery/Probability & Statistics

Bayesian network과 Bayes ball 알고리즘 설명 (조건부 독립)

Bayesian network는 변수들 간의 독립 관계를 directed acyclic graph 형태로 표현한 확률 그래프 모델을 말한다. 그리고 Bayes ball 알고리즘은 공을 굴리는 것에 비유하여 Bayeisan network를 통해 변수들이 서로 조건부 독립인지 아닌지를 판단하는 알고리즘이다. 이번 글에서는 Bayesian network가 무엇인지와 함께, 이들의 local structure, 그리고 Bayes ball 알고리즘을 통해 어떻게 변수들의 조건부 독립 여부를 판단할 수 있는지에 대해 알아보겠다. Bayesian network Bayeisan network는 위에서 언급한 것처럼 변수들 간의 독립 관계를 directed acyclic graph 형태로 표현한 확률 그래프 모델을 말한..

2023. 1. 22. 00:01
Machine Learning - Thoery/Deep Learning

D3PM 설명 (Discrete denoising diffusion probabilistic models 설명)

Discrete denoising diffusion probabilistic models (D3PM)은 그래프, 텍스트와 같은 discrete 데이터에 적용할 수 있는 diffusion model을 말한다. D3PM은 Markov transition matrix를 활용해 각각의 diffusion step을 모델링하였고, 이 transition matrix의 선택에 따라 생성 모델의 결과가 달라질 수 있음을 보였다. 이번 글에서는 D3PM 모델이 어떻게 continous가 아닌 discrete 데이터를 모델링하는지에 대해 알아보겠다. * 이 글은 diffusion model에 대한 기본적인 이해가 있다고 가정한다. Key idea 우선, D3PM의 핵심 아이디어에 대해 살펴보겠다. D3PM은 위에서도 언급..

2023. 1. 21. 22:37
카테고리 없음

2022년 돌아보기

음력으로도 2023년이 시작하면 안 될 것 같아서 부랴부랴 쓰는 2022년 돌아보기. 첫 학기도 끝났고, 이사도 마무리되었고, 드디어 여유가 좀 났다. 빠르게 시작! 학업과 연구 올해의 가장 큰 변화는 산업경영공학과 석사를 졸업하고, 인공지능대학원 통합 과정으로 새롭게 입학하게 되었다는 점이다. 학부 때부터 단일계열 -> 수학과 -> 산업경영공학과를 거쳐 인공지능대학원까지 오게 되었다. 벌써 네 번째 학과. (유감스럽게도 학위가 네 개인 것은 아니다.) 그 당시에는 꽤나 많은 고민을 거쳤고, 지금은 내가 생각하기에는 안정적으로 대학원을 다니고 있다. 아직까지 눈에 띄는 성과가 있는 것은 아니지만, 처음으로 연구와 학업이라는 대학원생의 본분에 온전히 집중할 수 있는 학기였다. 통합 과정을 완전히 처음 시작..

2023. 1. 18. 23:18
Machine Learning - Thoery/Graph Representation Learning

TransR knowledge graph embedding 설명 (TransR 설명)

TransR은 knowledge graph embedding 방법 중 하나로, projection matrix를 활용해서 head와 tail node embedding을 projection한 값 사이의 relation을 모델링하는 embedding 방법을 말한다. 이번 글에서는 RotatE, TransE에 이어, 새로운 knowledge graph embedding 방법인 TransR 방법에 대해 설명하겠다. Motivation TransE에서는 head embedding, tail embedding, relation embedding이 모두 같은 embedding 공간에 존재했다. 하지만 이러한 가정은 적절한 relation embedding을 찾는 것에 제약을 주었다. 그렇다면 head embeddi..

2022. 12. 17. 00:30
Machine Learning - Thoery/Graph Representation Learning

TransE knowledge graph embedding 설명 (TransE 설명)

TransE는 knowledge graph embedding 방법 중 하나로, head node embedding에 relation을 더했을 때 tail node embedding이 되도록 하는 embedding 방법을 말한다. 이번 글에서는 RotatE에 이어, 새로운 knowledge graph embedding 방법인 TransE 방법에 대해 설명하겠다. Method TransE는 아주 직관적인 knowledge graph embedding 방법이다. 간단하게 head node embedding에 relation을 더했을 때 tail node embedding이 되도록 하기 위해 학습을 한다고 생각하면 된다. 그러므로 TransE의 score function을 표현하면 다음과 같다. 이를 그림으로 ..

2022. 12. 3. 18:29
Machine Learning - Thoery/Traditional ML

SentencePiece 설명 (SPM 설명, SentencePiece 예시)

SentencePiece는 pre-tokenization을 필요로 하지 않는 tokenizer의 하나로, 어떤 언어에도 자유롭게 적용될 수 있고 속도도 굉장히 빠르기 때문에 NLP에서 널리 사용되는 tokenizer이다. 이번 글에서는 SentencePiece가 무엇인지와 함께 이를 어떻게 활용할 수 있는지 에 대한 예시 코드도 함께 살펴보겠다. 설명 SetencePiece는 간단하게 말하면 기존에 존재하던 unigram, BPE와 같은 tokenizer들을 모든 언어에 대해 적용이 가능하도록 generalize하고 약간의 추가적인 기능들을 더해서 구현한 것이다. 특별히 새로운 알고리즘을 제시했다기보다는, 기존의 tokenizer들을 좀 더 사용하기 편하고 성능이 좋게 개선했다고 생각하면 되겠다. Sen..

2022. 12. 1. 06:00
Machine Learning - Thoery/Traditional ML

Unigram tokenizer 설명 (unigram 설명, 장단점)

Unigram tokenizer는 BPE와 같이 문장 혹은 단어 안에 있는 글자들을 적절한 단위로 나누는 subword tokenizer의 하나로, 큰 vocabulary로부터 필요하지 않은 토큰을 하나씩 줄여나감으로써 최종적인 token들을 도출하는 알고리즘이다. 이번 글에서는 Unigram tokenizer가 어떻게 토큰들을 만들어내는지에 대해 알아보겠다. Unigram tokenizer 알고리즘 우선, unigram tokenizer를 한 눈에 볼 수 있게 표현하면 다음과 같다. Unigram 알고리즘은 BPE와 동일하게 기본적으로 문장이 pre-tokenize 되어 있다고 가정한다. 즉, 하나의 문장이 모두 이어져 있는 것이 아닌 띄어쓰기 등으로 분리되어 있다고 가정하는 것이다. 우리의 예시 문장..

2022. 11. 30. 21:04
Machine Learning - Thoery/Traditional ML

Byte pair encoding 설명 (BPE tokenizer, BPE 설명, BPE 예시)

Byte pair encoding (BPE)는 문장 혹은 단어 안에 있는 글자들을 적절한 단위로 나누는 subword tokenizer의 하나로, token들의 빈도를 기반으로 높은 빈도의 토큰들을 merge해가며 최종 token들을 만들어내는 방법이다. 이번 글에서는 BPE가 어떻게 토큰들을 만들어내는지에 대해서 알아보겠다. BPE tokenizer 알고리즘 BPE 알고리즘을 간단하게 표현하면 다음과 같다. BPE 알고리즘은 기본적으로 문장이 pre-tokenize 되어 있다고 가정한다. 즉, 하나의 문장이 모두 이어져 있는 것이 아닌 띄어쓰기 등으로 분리되어 있다고 가정하는 것이다. 우리의 예시 문장이 "hug pug pun bun hugs"라고 하자. (아무런 뜻이 없는 그냥 예시 문장이다.) 그러..

2022. 11. 27. 18:16