Machine Learning - Thoery/Graph Representation Learning 검색 결과
36 개의 검색 결과가 있습니다.
Machine Learning - Thoery/Graph Representation Learning

R-MAT 설명 (Relative molecule self-attention transformer 설명)

R-MAT는 relative molecule attention transformer의 준말로, 분자 내의 원자 간의 relative self-attention 정보를 반영하는 Transformer 기반의 그래프 pre-training 모델이다. R-MAT는 그래프 상 거리를 표현하는 neighborhood embedding, edge type을 반영하는 bond embedding, 그리고 radial basis function을 활용한 거리를 표현하는 distance embedding의 세 개의 embedding을 사용한다. 이번 글에서는 R-MAT가 무엇인지에 대해서 알아보겠다. Motivation Transformer는 absolute positional encoding, relative positi..

2023. 12. 24. 13:48
Machine Learning - Thoery/Graph Representation Learning

Graphormer 설명 (Do Transformers Really Perform Bad for Graph representation? 논문 리뷰)

Graphormer는 그래프의 구조적인 특성들을 파악할 수 있는 Transformer 기반 모델로, 각 노드의 중요성 정보를 받는 centrality encoding, 노드 간의 구조적 정보를 받는 spatial encoding, 그리고 edge feature 정보를 받는 edge encoding을 attention에 반영한다. 이번 글에서는 Graphormer가 무엇인지에 대해 알아보겠다. Motivation 트랜스포머를 그래프 데이터에 적용시키기 위해 단순히 그래프를 시퀀스 형태로 바꾸거나, GNN의 기본적인 형태에 attention을 적용하는 등의 방법들이 활용되어 왔다. 하지만 그래프는 단순한 시퀀스 데이터와는 다르게, 노드와 노드 사이의 엣지 정보를 통해서 어떤 구조를 형성한다. 이러한 구조적 ..

2023. 12. 5. 00:34
Machine Learning - Thoery/Graph Representation Learning

GROVER 설명 (Self-supervised Graph Transformer on Large-scale molecular data 논문 리뷰)

GROVER는 분자의 그래프 구조 정보와 contextual 정보를 반영하는 그래프 pre-training 모델로, 그래프 내의 local subgraph를 마스킹하고 이를 예측하는 것을 통해 적절한 노드나 엣지의 representation을 학습한다. GROVER는 GNN과 Transformer 구조를 동시에 사용함으로써 노드 주변의 local subgraph의 정보와 동시에 각 노드 간의 global relation까지 반영할 수 있게 한다. 이번 글에서는 GROVER가 무엇인지에 대해 알아보겠다. Motivation 분자 구조의 graph representation을 학습하는 것은 어려운 일이다. 이를 어렵게 만드는 가장 큰 이유는 분자의 특성을 모두 label로 매핑하기 위해서는 시간이 오래 걸리..

2023. 11. 30. 23:48
Machine Learning - Thoery/Graph Representation Learning

Variational graph auto-encoder 설명 (VGAE, GAE 설명)

Variational graph auto-encoder는 그래프 형태의 데이터에 VAE를 적용시킴으로써 그래프의 latent space를 학습하고, 이 latent variable을 활용하는 방법을 제시한 방법이다. VGAE 논문에서는 간단하게 그래프를 latent repersentation으로 학습하는 것을 목표로 하는 Graph auto-encoder (GAE)와, 이에 variational approach를 추가한 variational graph auto-encoder (VGAE) 두 가지를 제시하고 있다. 이번 글에서는 이들에 대해서 알아보겠다. Graph auto-encoder (GAE) Graph auto-encoder는 말 그대로 오토인코더를 그래프에 적용시키는 것으로, 1) 그래프를 lat..

2023. 11. 19. 18:26
Machine Learning - Thoery/Graph Representation Learning

Molecule attention transformer (MAT 설명)

Molecule attention transformer는 원자 간의 attention을 원자 간 거리와 연결 관계의 추가적인 정보를 활용하여 계산할 수 있게 한 네트워크이다. Molecule attention transformer (MAT)는 분자의 특성을 예측하는 molecule property prediction에 transformer를 사용하는 방법을 처음으로 제시한 논문이라는 의의를 가진다. 이번 글에서는 이러한 molecule attention transformer가 무엇인지에 대해 알아보겠다. Motivation 이 논문의 motivation은 한 줄로 요약하면 transformer를 분자에도 활용할 수 있는 방법이 필요하다는 것이다. Transformer는 많은 예측이나 representat..

2023. 11. 7. 00:14
Machine Learning - Thoery/Graph Representation Learning

GAT 설명 (Graph Attention Networks)

GAT는 graph attention network의 줄임말로, 각 이웃 노드들이 서로 다른 weight, 즉 attention을 가지는 것이 가능하게 한 GNN 구조이다. 이번 글에서는 GAT가 무엇인지에 대해 알아보겠다. Motivation Attention mechanism은 Transformer의 가장 기본이 되는 개념으로, input data의 모든 부분을 동일하게 다루는 것이 아닌 각 부부분들의 중요도에 따라서 어떤 부분에 집중할지의 weight를 다르게 두는 것을 말한다. 이를 그래프에 적용시켜 생각해보면 기존의 GCN 등의 GNN 구조들은 모든 이웃 노드들을 동일하게 취급해서 이들의 평균으로 현재 노드의 hidden vector를 업데이트했지만, GAT는 각 이웃 노드들의 중요도가 다르다고..

2023. 6. 28. 19:14
Machine Learning - Thoery/Graph Representation Learning

GraphSAGE 설명 (Inductive representation learning on large graphs 리뷰)

GraphSAGE는 graph sample and aggregate의 줄임말로, 기존의 GCN 등의 GNN들이 해결하지 못했던 문제인 inductive setting에서의 node classification 문제를 해결할 수 있게 한 GNN 구조이다. 이번 글에서는 GraphSAGE가 무엇인지에 대해서 알아보겠다. Motivation GraphSAGE의 motivation을 이해하기 위해서는 transductive setting과 inductive setting이 무엇인지부터 알아야 한다. Transductive setting Transductive setting은 주어진 데이터셋에 대해서만 prediction을 진행하는 것을 말한다. 이러한 setting에서는 현재까지는 관측되지 않은 (unseen) ..

2023. 6. 24. 17:25
Machine Learning - Thoery/Graph Representation Learning

Graph isomorphism network 설명 (GIN 설명, GNN expressive power)

GIN은 graph isomorphism network의 줄임말로, WL test와 같은 강력한 expressive power를 가지고 있기 때문에 가장 널리 쓰이는 GNN 구조 중 하나이다. 이번 글에서는 GIN이 무엇인지와 함께 GNN의 expressive power가 어떻게 정의되는지에 대해서 알아보겠다. Motivation GIN의 motivation을 설명하기 위해서는 GNN의 expressive power가 무엇인지에 대한 정의가 필요하다. Message passing neural network (MPNN)의 정의에서 살펴보았듯이, GNN의 layer는 aggregate (message) function과 combine (update) function으로 구성된다. 이러한 aggregate와 ..

2023. 1. 29. 20:23
Machine Learning - Thoery/Graph Representation Learning

TransR knowledge graph embedding 설명 (TransR 설명)

TransR은 knowledge graph embedding 방법 중 하나로, projection matrix를 활용해서 head와 tail node embedding을 projection한 값 사이의 relation을 모델링하는 embedding 방법을 말한다. 이번 글에서는 RotatE, TransE에 이어, 새로운 knowledge graph embedding 방법인 TransR 방법에 대해 설명하겠다. Motivation TransE에서는 head embedding, tail embedding, relation embedding이 모두 같은 embedding 공간에 존재했다. 하지만 이러한 가정은 적절한 relation embedding을 찾는 것에 제약을 주었다. 그렇다면 head embeddi..

2022. 12. 17. 00:30
Machine Learning - Thoery/Graph Representation Learning

TransE knowledge graph embedding 설명 (TransE 설명)

TransE는 knowledge graph embedding 방법 중 하나로, head node embedding에 relation을 더했을 때 tail node embedding이 되도록 하는 embedding 방법을 말한다. 이번 글에서는 RotatE에 이어, 새로운 knowledge graph embedding 방법인 TransE 방법에 대해 설명하겠다. Method TransE는 아주 직관적인 knowledge graph embedding 방법이다. 간단하게 head node embedding에 relation을 더했을 때 tail node embedding이 되도록 하기 위해 학습을 한다고 생각하면 된다. 그러므로 TransE의 score function을 표현하면 다음과 같다. 이를 그림으로 ..

2022. 12. 3. 18:29
Machine Learning - Thoery/Graph Representation Learning

Drug discovery의 성능 평가 metric (Validity, novelty, uniqueness, frag, scaff, SNN, intDiv, FCD, MW, LogP, SA, QED)

Drug discovery (molecule generative model)의 성능 평가 metric들은 우리가 모델링한 어떤 generative model이 얼마나 좋은 분자들을 만들어낼 수 있는지를 평가하는 척도로, validity, novelty, uniqueness 등의 generated set 내에서 평가할 수 있는 척도들과 FCD, SA 등 test set과 generated set을 비교하여 평가할 수 있는 척도들이 있다. 이번 글에서는 다양한 molecule generative model의 성능 평가 metric들에 대해서 알아보겠다. Implicit metrics 우선, generates set 내에서 평가할 수 있는 metric들에 대해서 알아보겠다. Validity Validity는 ..

2022. 11. 21. 06:00
Machine Learning - Thoery/Graph Representation Learning

SELFIES 설명 (SELFIES와 SMILES, Self-referencing embedded strings 설명)

SELFIES는 self-referencing embedded strings의 줄임말로, SMILES, DeepSMILES가 가지고 있던 invalid 문제를 완벽하게 해결한, 분자 구조를 string 형태로 표현하는 방법이다. 이번 글에서는 SELFIES가 무엇인지에 대해 알아보겠다. * 이 글은 SMILES에 대한 기본적인 이해가 있다고 가정한다. Motivation SELFIES가 가지는 가장 큰 특징은 모든 SELFIES string이 100% valid한 molecule을 만들어낼 수 있다는 점이다. SMILES, DeepSMILES는 ring, branch의 표기법에서 오는 문제들 때문에 invalid한 molecule을 만들어내는 경우가 많았지만, SELFIES는 어떤 random한 stri..

2022. 11. 20. 16:41
Machine Learning - Thoery/Graph Representation Learning

DeepSMILES 설명 (DeepSMILES의 장단점, DeepSMILES: an adaptation of SMILES for use in machine-learning of chemical structures 논문 리뷰)

DeepSMILES는 분자 구조를 string 형태로 표기하는 표기법으로, SMILES가 ring과 branch에서 가지고 있는 invalidity 문제를 해결하기 위해서 제시된 방법이다. 이번 글에서는 DeepSMILES가 무엇인지에 대해 알아보겠다. * 이번 글은 SMILES에 대한 기본적인 이해가 있다고 가정한다. Motivation SMILES는 가장 기본적인 분자의 string 표기법으로 널리 사용되어 왔지만 여러 가지 한계점을 가진다. 그 중 대표적인 한계점이 ring을 한 쌍의 숫자로, branch를 한 쌍의 괄호로 표현하기 때문에 이러한 쌍이 만족되지 못하면 invalid한 string이 된다는 점이다. 예를 들어, C1CCC2라는 string이 있다고 하자. SMILES는 하나의 ring..

2022. 10. 19. 23:39
Machine Learning - Thoery/Graph Representation Learning

CharRNN 설명 (Generating Focused Molecule Libraries for Drug Discovery with Recurrent Neural Networks 논문 리뷰)

CharRNN은 SMILES와 LSTM을 활용한 graph generative model로, 각 character를 하나씩 generate하는 모델이다. 이번 글에서는 CharRNN이 무엇인지에 대해 Generating Focused Molecule Libraries for Drug Discovery with Recurrent Neural Networks 논문을 리뷰하면서 알아보겠다. Motivation 이 논문의 motivation은 아주 간단하다. NLP, image 등 다양한 분야에서 recurrent neural network (RNN)이 아주 잘 작동했기 때문에 이를 그래프에도 작동하면 잘 되지 않을까? 라는 생각에서 시작했다. 그래프에 RNN을 적용하기 위해서는 그래프가 sequence 형태로..

2022. 10. 3. 00:58
Machine Learning - Thoery/Graph Representation Learning

RotatE knowledge graph embedding 설명 (RotatE_Knowledge Graph Embedding by Relational Rotation in Complex Space 논문 리뷰)

Knowledge graph embedding은 연결되는 두 노드와 두 노드 사이의 관계를 적절하게 표현하여 head node의 embedding으로부터 어떤 relation을 취했을 때 이것이 tail node의 embedding과 비슷해지도록 만드는 것을 목적으로 한다. 이번 글에서는 knowledge graph embedding 중에서도 대표적인 네 개의 relation pattern을 모두 표현할 수 있는 방법인RotatE 방법에 대해 설명하겠다. Motivation 들어가기에 앞서, RotatE의 motivation에 대해 간단히 설명하겠다. 앞서 설명한 것처럼, knowledge graph embedding의 목적은 head node의 embedding에 어떤 relation을 취했을 때 이것..

2022. 10. 1. 22:12
Machine Learning - Thoery/Graph Representation Learning

Knowledge graph와 relation pattern (symmetry, inversion, composition)

Knowledge graph는 어떤 entity 간의 관계들을 표현하는 그래프로, 이 그래프는 head entity와 tail entity가 어떤 relation을 가지고 있는지의 정보로 구성된다. 이러한 knolwedge graph는 구글과 같은 검색 엔진에서 사이트들 간의 관계를 표현하거나, eBay와 같은 구매 서비스에서 상품들을 추천할 때에 상품 간의 관계를 표현하는 등 다양한 관계들을 설명할 때 활용된다. 이번 글에서는 knowledge graph 내의 가장 대표적인 관계 패턴 세 가지에 대해서 알아보겠다. Symmetry 첫 번째 relation pattern은 symmetry pattern이다. Symmetry pattern은 다음과 같이 정의한다. 이는 쉽게 풀어 말하면, x와 y 사이의 ..

2022. 9. 19. 23:57