전체 글 검색 결과
209 개의 검색 결과가 있습니다.
Machine Learning - Thoery/Deep Learning

Generative Flow Network 설명 (GFlowNet 설명)

GFlowNet은 Generative Flow Network의 준말로, 각 state로 들어가는 flow의 합과 나가는 flow의 합을 동일하게 하여 우리가 목적으로 하는 reward에 비례하는 확률에 따라 다양한 샘플들을 생성하는 생성 모델을 의미한다. GFlowNet은 샘플의 diverse한 mode를 찾는 것을 통해 다양한 샘플을 생성하는 것을 가능하게 하고, 목적으로 하는 reward를 반영한 생성을 통해 실제 신약 개발 분야 등에서 유용하게 활용될 수 있다. 이번 글에서는 GFlowNet이 무엇이고, 이를 어떻게 학습 하는지에 대해 알아보겠다. Directed acyclic graph (DAG) 우선, GFlowNet을 쉽게 이해하기 위해서는 GFLowNet의 DAG가 어떻게 구성되어 있는지부터..

2024. 10. 22. 00:40
Machine Learning - Thoery/Deep Learning

Energy-based model 설명 (EBM 설명)

Energy-based model은 데이터의 확률 분포를 energy function을 활용해 정의한 모델로, observed (혹은 more likely) data point에는 더 적은 에너지를, outlier (혹은 unlikely) data point에는 더 높은 에너지를 할당한다. 이러한 energy-based model은 현실 세계에서 더 안정적인 분자 구조가 더 적은 에너지를 가지는 현상 등과 일맥상통하기 때문에, 다양한 도메인의 생성 모델로 활용되고는 한다. 이번 글에서는 이 energy-based model (EBM)이 무엇인지에 대해 알아보겠다.Motivation 많은 사람들이 흔히 알고 있는 생성 모델인 autoregressive model, VAE, normalizing flow 등..

2024. 6. 22. 15:14
Machine Learning - Thoery/Deep Learning

Score-based generative modeling through stochastic differential equations 논문 리뷰

Score-based generative modeling through stochastic differential equations는 NCSN과 DDPM의 개념을 연결하는 논문으로, noise scale의 개수를 무한으로 늘림으로써 SDE를 활용해 diffusion process와 reverse process를 모두 표현하는 개념을 제시한 논문이다. 이를 통해 더 높은 퀄리티의 샘플들을 생성하고, bound가 아닌 정확한 log-likelihood의 계산까지 가능하게 하여 diffusion model의 새로운 길을 열었다. 이번 글에서는 이 Score-based generative modeling through SDEs 논문에 대해 알아보겠다.Score-based generative modeling th..

2024. 6. 7. 22:31
Machine Learning - Thoery/Deep Learning

NCSN 설명 (Noise conditional score network 설명)

NCSN은 noise conditional score network의 줄임말로, 데이터를 점점 더 작아지는 노이즈로 perturb함으로써 기존 score matching의 문제를 해결한 최초의 높은 성능의 score-based diffusion model이다. Yang Song의 Generative modeling by estimating gradients of the data distribution 논문에서 처음 제시된 개념으로, score-based diffusion model들의 가장 기본이 되는 모델이다. 이번 글에서는 이러한 NCSN이 무엇인지에 대해 알아보겠다. Recap 이 글을 이해하기 위해서는 score matching과 Langevin dynamics에 대한 이해가 필수적이다. 여기에서..

2024. 4. 10. 17:51
Machine Learning - Thoery

Euler-Maruyama method 설명 (오일러-마루야마 기법 설명)

Euler-Maruyama method는 SDE의 해를 쉽고 간단하게 근사하는 방법으로, ODE의 해를 근사하는 Euler method를 SDE에 맞게 확장시킨 방법이다. Euler-Maruyama method도 Euler method와 비슷하게 아주 작은 스텝을 이동하면서 값이 어떻게 바뀌는지를 활용하여 해를 근사한다. 이번 글에서는 Euler-Maruyama method가 무엇인지에 대해 알아보겠다. Motivation 다음과 같은 SDE의 해를 구하는 것이 목적이라고 하자. 이는 다시 말해, 아래와 같은 식이 주어졌을 때 특정 시점 $t$의 $x(t)$ 값을 구하는 것이 목적인 것이다. 이러한 식을 바로 적분을 통해서 직접적으로 풀기 위해서는 다음과 같은 식을 해결하면 된다. 하지만 이러한 식을 푸..

2024. 4. 10. 15:41
Machine Learning - Thoery

Score matching 설명 (Score function 설명)

Score function은 log-likelihood의 gradient를 의미하고, score matching은 실제 probability density function을 구하는 것이 아닌, 이러한 score 값을 활용하여 probability density function을 추정하는 것을 의미한다. 이러한 score matching 기법은 최근 SDE를 활용하여 diffusion model을 모델링할 때에 널리 활용된다. 이번 글에서는 score function과 score matching이 무엇인지에 대해 알아보겠다. Score function Score function은 앞서 언급한 것처럼 log-likelihood의 gradient를 의미한다. 이를 식으로 표현하면 다음과 같다. 만약 우리가 p..

2024. 3. 24. 20:26
Machine Learning - Thoery

Langevin dynamics 설명 (Langevin equation 설명)

Langevin dynamics는 복잡한 시스템에서 입자들의 움직임을 시뮬레이션하기 위한 방법으로, score function을 기반으로 하는 SDE를 활용하는 diffusion model에서 샘플링을 하는 방법으로 널리 사용된다. 이번 글에서는 이러한 Langevin dynamics가 어떻게 유도되고, generative model에서 어떻게 사용되는지에 대해 알아보겠다.Fokker-Planck equationFokker-Planck equation은 probability density function이 시간이 흐르면서 stochastic process를 거쳐 어떻게 변하는지를 표현하는 미분방정식이다. 확률 분포는 시간이 흐르면서 어떠한 stationary distribution, 즉 더 이상 확률 분..

2024. 3. 23. 23:30
Machine Learning - Thoery

Wiener process 설명 (Brownian motion 설명)

Wiener process는 Brownian motion을 표현하는 stochastic process로, 시간이 지나면서 어떤 random한 움직임이 어떻게 변화하는지를 표현하는 프로세스이다. SDE는 다양한 방법으로 표현될 수 있지만, SDE 내의 randomness는 다음 식과 같이 종종 Wiener process로 표현된다. 그렇기 때문에 SDE를 활용하여 diffusion process를 표현하는 diffusion model에 관련된 논문들에서 Wiener proces라는 단어가 흔히 나오고는 한다. 이번 글에서는 이 Wiener process가 무엇인지에 대해 알아보겠다. Motivation Wiener process는 많은 real world의 randomness를 표현하기 위해 사용된다. 대..

2024. 3. 23. 20:58
Machine Learning - Thoery

Euler's method 설명 (오일러 기법 설명)

Euler's method는 initial condition을 활용해서 ODE의 해를 근사하는 기법으로, ODE에 의해 결정된 벡터장의 방향, 즉 커브의 방향을 따라 아주 작은 스텝을 이동함으로써 문제를 해결한다. Euler's method는 가장 간단한 형태의 numerical method로, 함수의 값을 근사하는 가장 기본적인 방법이다. 이번 글에서는 Euler's method가 무엇인지에 대해 알아보겠다. Motivation ODE는 다음 식과 같이 x(t)가 시간 t에 따라 어떻게 변하는지를 표현하는 식이다. 우리의 목적은 initial condition $x(t_0)$와 함수 $f(x(t),t)$가 주어졌을 때, 어떤 시점의 $x(t)$의 값을 찾는 것이다. 즉, ODE를 만족하는 해의 커브를 ..

2024. 3. 10. 21:51
Machine Learning - Thoery/Probability & Statistics

ODE와 SDE 설명 (Ordinary differential equation과 stochastic differential equation 설명

ODE는 ordinary differential equation의 준말로, 어떤 variable과 그것의 미분으로 구성된 방정식을 말한다. 그리고 SDE는 stochastic differential equation의 준말로, 하나 이상의 term이 stochastic process인 미분방정식, 즉 randomness를 가지는 부분이 있는 미분방정식을 말한다. 이번 글에서는 ODE와 SDE가 무엇인지에 대해, 수학자의 관점 보다는 diffusion model과 score-based generative model을 이해하기 위한 관점으로 알아보겠다. ODE ODE는 어떤 variable과 그것의 미분으로 구성된 방정식을 말하고, 이것의 기본적인 형태는 다음과 같다. 위 식에서 $x(t)$는 시간 $t$일 ..

2024. 2. 25. 19:04
카테고리 없음

2023년 돌아보기

내일은 쓸 짬이 안 날 것 같아서 12월 30일에 쓰는 2023년 돌아보기. 2019년 블로그를 시작한 첫 해에 100번쨰 글로 2019 돌아보기를 썼었는데, 딱 200번째 글이다. 다섯 번째 돌아보기 시작!학업과 연구 올해는 처음으로 한 해를 온전히 인공지능대학원에서 보낸 해였고, 랩장을 한 해였고, 학회를 처음으로 가 본 해였고, 논문을 처음으로 내 본 해였다고 요약할 수 있을 것 같다. 교수님께 감사하게 하와이에서 열린 ICML, 뉴올리언스에서 열린 NeurIPS 모두 대면으로 참가했고, 각 학회들에서 워크샵 논문들을 하나씩 발표를 했고, 그 워크샵 논문들은 다음 학회의 결과를 기다리고 있다. 점수가 약간 애매해서 결과는 아직 알 수 없지만 두 개 논문을 첫 1저자로 낼 수 있었다는 점에서 의미가 ..

2023. 12. 30. 19:11
Machine Learning - Thoery/Probability & Statistics

Master equation 설명 (Markov process와 master equation)

Master equation은 Markov process state의 확률 분포가 시간에 따라서 어떻게 변하는지를 모델링하는 방정식으로, stochastic system의 behavior의 분석과 예측에 도움을 준다. 이번 글에서는 Markov property와 이를 만족하는 Markov process가 무엇인지, 그리고 마지막으로 Master equation이 무엇인지에 대해 알아보겠다. Markov process Markov process는 Markov property를 만족하는 stochastic process를 의미한다. 이 문장 안에 있는 Markov property가 무엇인지, 그리고 stochastic process가 무엇인지에 대해 하나씩 알아보겠다. Stochastic process St..

2023. 12. 30. 16:32
Machine Learning - Thoery/Graph Representation Learning

R-MAT 설명 (Relative molecule self-attention transformer 설명)

R-MAT는 relative molecule attention transformer의 준말로, 분자 내의 원자 간의 relative self-attention 정보를 반영하는 Transformer 기반의 그래프 pre-training 모델이다. R-MAT는 그래프 상 거리를 표현하는 neighborhood embedding, edge type을 반영하는 bond embedding, 그리고 radial basis function을 활용한 거리를 표현하는 distance embedding의 세 개의 embedding을 사용한다. 이번 글에서는 R-MAT가 무엇인지에 대해서 알아보겠다. Motivation Transformer는 absolute positional encoding, relative positi..

2023. 12. 24. 13:48
Machine Learning - Thoery/Graph Representation Learning

Graphormer 설명 (Do Transformers Really Perform Bad for Graph representation? 논문 리뷰)

Graphormer는 그래프의 구조적인 특성들을 파악할 수 있는 Transformer 기반 모델로, 각 노드의 중요성 정보를 받는 centrality encoding, 노드 간의 구조적 정보를 받는 spatial encoding, 그리고 edge feature 정보를 받는 edge encoding을 attention에 반영한다. 이번 글에서는 Graphormer가 무엇인지에 대해 알아보겠다. Motivation 트랜스포머를 그래프 데이터에 적용시키기 위해 단순히 그래프를 시퀀스 형태로 바꾸거나, GNN의 기본적인 형태에 attention을 적용하는 등의 방법들이 활용되어 왔다. 하지만 그래프는 단순한 시퀀스 데이터와는 다르게, 노드와 노드 사이의 엣지 정보를 통해서 어떤 구조를 형성한다. 이러한 구조적 ..

2023. 12. 5. 00:34
Machine Learning - Thoery/Graph Representation Learning

GROVER 설명 (Self-supervised Graph Transformer on Large-scale molecular data 논문 리뷰)

GROVER는 분자의 그래프 구조 정보와 contextual 정보를 반영하는 그래프 pre-training 모델로, 그래프 내의 local subgraph를 마스킹하고 이를 예측하는 것을 통해 적절한 노드나 엣지의 representation을 학습한다. GROVER는 GNN과 Transformer 구조를 동시에 사용함으로써 노드 주변의 local subgraph의 정보와 동시에 각 노드 간의 global relation까지 반영할 수 있게 한다. 이번 글에서는 GROVER가 무엇인지에 대해 알아보겠다. Motivation 분자 구조의 graph representation을 학습하는 것은 어려운 일이다. 이를 어렵게 만드는 가장 큰 이유는 분자의 특성을 모두 label로 매핑하기 위해서는 시간이 오래 걸리..

2023. 11. 30. 23:48
Machine Learning - Thoery/Graph Representation Learning

Variational graph auto-encoder 설명 (VGAE, GAE 설명)

Variational graph auto-encoder는 그래프 형태의 데이터에 VAE를 적용시킴으로써 그래프의 latent space를 학습하고, 이 latent variable을 활용하는 방법을 제시한 방법이다. VGAE 논문에서는 간단하게 그래프를 latent repersentation으로 학습하는 것을 목표로 하는 Graph auto-encoder (GAE)와, 이에 variational approach를 추가한 variational graph auto-encoder (VGAE) 두 가지를 제시하고 있다. 이번 글에서는 이들에 대해서 알아보겠다. Graph auto-encoder (GAE) Graph auto-encoder는 말 그대로 오토인코더를 그래프에 적용시키는 것으로, 1) 그래프를 lat..

2023. 11. 19. 18:26
Machine Learning - Thoery/Graph Representation Learning

Molecule attention transformer (MAT 설명)

Molecule attention transformer는 원자 간의 attention을 원자 간 거리와 연결 관계의 추가적인 정보를 활용하여 계산할 수 있게 한 네트워크이다. Molecule attention transformer (MAT)는 분자의 특성을 예측하는 molecule property prediction에 transformer를 사용하는 방법을 처음으로 제시한 논문이라는 의의를 가진다. 이번 글에서는 이러한 molecule attention transformer가 무엇인지에 대해 알아보겠다. Motivation 이 논문의 motivation은 한 줄로 요약하면 transformer를 분자에도 활용할 수 있는 방법이 필요하다는 것이다. Transformer는 많은 예측이나 representat..

2023. 11. 7. 00:14
Machine Learning - Thoery/Graph Representation Learning

GAT 설명 (Graph Attention Networks)

GAT는 graph attention network의 줄임말로, 각 이웃 노드들이 서로 다른 weight, 즉 attention을 가지는 것이 가능하게 한 GNN 구조이다. 이번 글에서는 GAT가 무엇인지에 대해 알아보겠다. Motivation Attention mechanism은 Transformer의 가장 기본이 되는 개념으로, input data의 모든 부분을 동일하게 다루는 것이 아닌 각 부부분들의 중요도에 따라서 어떤 부분에 집중할지의 weight를 다르게 두는 것을 말한다. 이를 그래프에 적용시켜 생각해보면 기존의 GCN 등의 GNN 구조들은 모든 이웃 노드들을 동일하게 취급해서 이들의 평균으로 현재 노드의 hidden vector를 업데이트했지만, GAT는 각 이웃 노드들의 중요도가 다르다고..

2023. 6. 28. 19:14
Machine Learning - Thoery/Graph Representation Learning

GraphSAGE 설명 (Inductive representation learning on large graphs 리뷰)

GraphSAGE는 graph sample and aggregate의 줄임말로, 기존의 GCN 등의 GNN들이 해결하지 못했던 문제인 inductive setting에서의 node classification 문제를 해결할 수 있게 한 GNN 구조이다. 이번 글에서는 GraphSAGE가 무엇인지에 대해서 알아보겠다. Motivation GraphSAGE의 motivation을 이해하기 위해서는 transductive setting과 inductive setting이 무엇인지부터 알아야 한다. Transductive setting Transductive setting은 주어진 데이터셋에 대해서만 prediction을 진행하는 것을 말한다. 이러한 setting에서는 현재까지는 관측되지 않은 (unseen) ..

2023. 6. 24. 17:25
Machine Learning - Thoery/Graph Representation Learning

Graph isomorphism network 설명 (GIN 설명, GNN expressive power)

GIN은 graph isomorphism network의 줄임말로, WL test와 같은 강력한 expressive power를 가지고 있기 때문에 가장 널리 쓰이는 GNN 구조 중 하나이다. 이번 글에서는 GIN이 무엇인지와 함께 GNN의 expressive power가 어떻게 정의되는지에 대해서 알아보겠다. Motivation GIN의 motivation을 설명하기 위해서는 GNN의 expressive power가 무엇인지에 대한 정의가 필요하다. Message passing neural network (MPNN)의 정의에서 살펴보았듯이, GNN의 layer는 aggregate (message) function과 combine (update) function으로 구성된다. 이러한 aggregate와 ..

2023. 1. 29. 20:23