Machine Learning - Thoery/Graph Representation Learning
R-MAT 설명 (Relative molecule self-attention transformer 설명)
R-MAT는 relative molecule attention transformer의 준말로, 분자 내의 원자 간의 relative self-attention 정보를 반영하는 Transformer 기반의 그래프 pre-training 모델이다. R-MAT는 그래프 상 거리를 표현하는 neighborhood embedding, edge type을 반영하는 bond embedding, 그리고 radial basis function을 활용한 거리를 표현하는 distance embedding의 세 개의 embedding을 사용한다. 이번 글에서는 R-MAT가 무엇인지에 대해서 알아보겠다. Motivation Transformer는 absolute positional encoding, relative positi..
2023. 12. 24. 13:48
최근댓글