GNN 검색 결과

9 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Graph Representation Learning

Graphormer 설명 (Do Transformers Really Perform Bad for Graph representation? 논문 리뷰)

Graphormer는 그래프의 구조적인 특성들을 파악할 수 있는 Transformer 기반 모델로, 각 노드의 중요성 정보를 받는 centrality encoding, 노드 간의 구조적 정보를 받는 spatial encoding, 그리고 edge feature 정보를 받는 edge encoding을 attention에 반영한다. 이번 글에서는 Graphormer가 무엇인지에 대해 알아보겠다. Motivation 트랜스포머를 그래프 데이터에 적용시키기 위해 단순히 그래프를 시퀀스 형태로 바꾸거나, GNN의 기본적인 형태에 attention을 적용하는 등의 방법들이 활용되어 왔다. 하지만 그래프는 단순한 시퀀스 데이터와는 다르게, 노드와 노드 사이의 엣지 정보를 통해서 어떤 구조를 형성한다. 이러한 구조적 ..

2023. 12. 5. 00:34

Machine Learning - Thoery/Graph Representation Learning

GROVER 설명 (Self-supervised Graph Transformer on Large-scale molecular data 논문 리뷰)

GROVER는 분자의 그래프 구조 정보와 contextual 정보를 반영하는 그래프 pre-training 모델로, 그래프 내의 local subgraph를 마스킹하고 이를 예측하는 것을 통해 적절한 노드나 엣지의 representation을 학습한다. GROVER는 GNN과 Transformer 구조를 동시에 사용함으로써 노드 주변의 local subgraph의 정보와 동시에 각 노드 간의 global relation까지 반영할 수 있게 한다. 이번 글에서는 GROVER가 무엇인지에 대해 알아보겠다. Motivation 분자 구조의 graph representation을 학습하는 것은 어려운 일이다. 이를 어렵게 만드는 가장 큰 이유는 분자의 특성을 모두 label로 매핑하기 위해서는 시간이 오래 걸리..

2023. 11. 30. 23:48

Machine Learning - Thoery/Graph Representation Learning

Graph isomorphism network 설명 (GIN 설명, GNN expressive power)

GIN은 graph isomorphism network의 줄임말로, WL test와 같은 강력한 expressive power를 가지고 있기 때문에 가장 널리 쓰이는 GNN 구조 중 하나이다. 이번 글에서는 GIN이 무엇인지와 함께 GNN의 expressive power가 어떻게 정의되는지에 대해서 알아보겠다. Motivation GIN의 motivation을 설명하기 위해서는 GNN의 expressive power가 무엇인지에 대한 정의가 필요하다. Message passing neural network (MPNN)의 정의에서 살펴보았듯이, GNN의 layer는 aggregate (message) function과 combine (update) function으로 구성된다. 이러한 aggregate와 ..

2023. 1. 29. 20:23

Machine Learning - Tools/PyG

PyG 시작하기 (PyG tutorial, PyG 사용법)

이번 글에서는 PyG를 이용해서 GNN 모델링을 하려면 어떤 흐름으로 모델링을 진행해야 하는지에 대해 간략하게 알아볼 것이다. PyG의 설치 방법은 다음 글을 참고하면 된다. * 이 글은 pyG 2.1.0 버전을 기준으로 작성되었습니다. 이 글은 파이썬에 대한 기본 지식 및 GNN의 기본 용어에 대한 이해가 있다는 가정 하에 진행됩니다. Library / module import import os import torch import networkx as nx import matplotlib.pyplot as plt from torch.nn import Linear from torch_geometric.nn import GCNConv from torch_geometric.datasets import Kar..

2022. 8. 25. 19:23

Machine Learning - Thoery/Graph Representation Learning

Graph Convolutional Network 설명 (Semi-supervised classification with graph convolutional networks 논문 리뷰, GCN 설명, GCN 구조) - (1)

Graph convolutional network (GCN)은 가장 기본이 되는 graph neural network 중 하나로, CNN의 local feature를 학습한다는 특징과 weight sharing을 그래프에 적용시키는 neural network이다. 이번 글에서는 GCN이 무엇인지와 함께 GCN이 어떻게 작동하는지에 대해서 설명하고, 다음 글에서는 GCN의 구조가 왜 그렇게 되었는지에 대해서 좀 더 구체적으로 설명하도록 하겠다. Motivation 들어가기에 앞서, GCN의 motivation에 대해서 간략하게 설명하도록 하겠다. Convolutional neural network (CNN)은 사진 데이터에 가장 널리 사용되는 neural network 구조로써, local feature를..

2022. 8. 9. 13:53

Machine Learning - Thoery/Graph Representation Learning

Graph Laplacian 설명 (Unnormalized Laplacian, Normalized Laplacian)

Graph Laplacian은 Adjacency matrix 를 다양한 방법으로 변형하여 그래프를 표현할 수 있게 한 행렬들을 말한다. 이번 글에서는 이 Graph Laplacian의 종류 중 하나인 unnormalized Laplacian, normalized Laplacian의 정의와 특성들에 대해 알아보겠다. Unnormalized Laplacian Laplacian matrix 중 가장 기본이 되는 matrix가 unnormalized Laplacian이다. 이는 다음과 같이 정의한다. 위 식에서 D는 degree matrix, A는 adjacency matrix이다. 그러므로 unnormalized Laplacian matrix의 각 성분(L[i,j])은, (self-loop가 없는 그래프 가정..

2022. 2. 15. 21:00

Machine Learning - Thoery/Graph Representation Learning

Katz index란? (Katz index 증명, Adjacency matrix 설명)

local neighborhood를 활용한 measure들은, 두 노드가 공통된 이웃을 가지고 있지 않는 상황에서는 두 노드 간의 관계에 대해 추론하기 힘들다. 그러므로 이번 글에서는, 이러한 한계점을 해결하기 위해 도출된 개념인 그래프 전체를 고려하여 두 노드 간의 관계를 표현하는 Katz index에 대해 알아보고, 이와 함께 Adjacency matrix가 무엇이고 특성이 무엇인지에 대해 알아보겠다. 정의 Katz index는, 두 노드 사이의 모든 길이의 path의 빈도를 의미한다. 즉, 수학적으로 정의하면 아래와 같이 정의할 수 있다. 위 식에서 i는 두 노드 사이의 path의 길이를 의미하고, beta값은 긴 path에 대해 얼마나 weight를 줄 것인지를 결정한다. 예를 들어, beta가 ..

2022. 2. 9. 23:23

Machine Learning - Thoery/Graph Representation Learning

두 노드 사이의 관계를 표현하는 Local overlap measure (Sorensen index, Salton index, Jaccard overlap, RA index, AA index)

우리는 그래프를 활용해서 어떤 예측을 할 때, 하나의 노드가 어떤 특성을 가지고 있는지를 예측하기도 하지만 (node classification), 두 노드 사이의 관계를 예측하기(link prediction)도 한다. 이번 글에서는 두 노드 사이의 관계를 표현하는 가장 기본이 되는 척도인 neighborhood overlap, 그 중에서도 local overlap measure에 대해서 알아보겠다. 우선, 두 노드 사이의 neighborhood overlap은 말 그대로 몇 개의 이웃(직접 연결된 노드)을 공유하고 있는지를 의미한다. 이를 식으로 나타내면 다음과 같다. 위 식은 다른 말로 common neighbors라고도 부른다. 예를 들어, 다음과 같은 그래프가 있다고 하자. 그림에도 나타나 있듯이..

2022. 2. 8. 22:53

Machine Learning - Thoery/Graph Representation Learning

Graphlet과 Graphlet Degree Vector(GDV)이란? (induced subgraph, graph isomorphism 설명)

이번 글에서는 node degree, clustering coefficient와 같이 node 특징을 나타낼 수 있는 척도 중 하나인 특정한 subgraph를 나타내는 말인 graphlet과, 이를 활용하여 node의 특징을 graph의 구조적인 측면을 활용하여 나타낼 수 있는 또다른 척도인 graphlet degree vector(GDV)에 대해 알아보겠다. Graphlet 우선, graphlet의 정의에 대해 알아보겠다. graphlet은 서로 연결되어 있는(connected) induced non-isomorphic subgraph를 말한다. connected는 떨어져 있는 노드가 없는 것을 의미할 것이고, 다른 두 단어는 조금 생소하다. 각 단어의 뜻을 하나씩 알아보겠다. induced subgr..

2022. 2. 8. 22:12