Machine Learning - Thoery 검색 결과

96 개의 검색 결과가 있습니다.

Machine Learning - Thoery/Deep Learning

Normalizing flow 설명

Normalizing flow는 invertible transformation을 활용하여 어떤 쉬운 분포로부터 실제 데이터 분포 사이의 transformation을 학습하는 생성 모델이다. Diffusion model로부터 시작되었고 flow matching까지 이어지는 생성 모델의 흐름은 정규 분포처럼 샘플링이 쉬운 데이터 분포로부터 어떤 하나의 값을 샘플링하여 이로부터 실제 데이터가 이루고 있는 복잡한 분포의 샘플을 얻어낸다는 프레임워크를 따른다. Normalizing flow의 개념을 이해하는 것이 flow matching을 이해하는 것과 직접적으로 관련이 있지는 않지만, 어떤 두 분포 사이의 transformation을 학습한다는 프레임워크를 공유하기 때문에, flow matching에 대한 글을..

2025. 8. 10. 06:12

Machine Learning - Thoery/AI4Science

ESM-3 설명 (Simulating 500 million years of evolution with a language model 논문 리뷰)

ESM-3는 단백질의 구조, 시퀀스, 그것의 기능까지 모두 고려한 multi-modal protein language model로, ESMFold에서 한 발 더 나아가 기능까지 고려한 것이 특징이다. 각 modality를 따로 학습하거나 downstream task에서만 합친 것이 아니라, pre-training 단계에서부터 이들을 통합하여 학습함으로써 서로 정보를 보완하며 학습할 수 있도록 한 것이 특징이다. 이번 글에서는 ESM-3가 무엇이고 어떻게 작동하는지에 대해 알아보겠다.Motivation 기존의 ESMFold는 단순히 단백질의 시퀀스로부터 구조를 예측하는 하나의 태스크만을 진행할 수 있었다. 하지만 이러한 구조 예측에서 나아가, 해당 단백질이 특정 환경의 체내에서 어떤 기능을 하는지, 단백..

2025. 7. 20. 04:32

Machine Learning - Thoery/AI4Science

ESMFold 설명 (Evolutionary-scale prediction of atomic level protein structure with a language model 논문 리뷰)

ESMFold는 아미노산으로 이루어진 protein sequence가 주어졌을 때 이 단백질을 구성하는 모든 원자들의 structure를 예측하는 full atomic-level structural prediction 모델로, AlphaFold가 사용했던 비효율적인 MSA 기법에 의존하지 않는 LLM 기반 모델이다. 계산이 복잡하고 비용이 많이 드는 MSA 방법을 사용하지 않음으로써, ESMFold 모델은 기존에 시간이 오래 걸리던 단백질의 구조 예측 (structure prediction)을 높은 정확도를 유지하면서 가속화하였다. 이번 글에서는 ESMFold가 무엇이고, 어떻게 작동하는지에 대해 알아보겠다.*이 글에서 protein structure prediction은 단백질의 1차 구조(prote..

2025. 7. 19. 11:24

Machine Learning - Thoery/LLM

Self-consistency CoT 설명

Self-consistency CoT는 greedy하게 하나의 reasoning trace만을 생성하던 기존의 CoT 방식에서 벗어나, 다양한 reaosning trace를 샘플링하여 이들 중 가장 높은 빈도로 consistent하게 등장하는 답을 최종 답으로 채택하는 방법을 말한다. 인간은 어떤 문제에 대한 해답을 찾을 때 한 개의 방법만을 생각해보는 것이 아닌, 다양한 방향으로 문제를 푸는 방법을 생각해보고, 결론이 같다면 이를 최종 답으로 선택하고는 한다. 이번 글에서는 이러한 점에 착안한 self-consistency가 무엇인지에 대해 알아보겠다.Overview Self-consistency 방법은 아래 그림과 같이 정말 간단하다.기존의 CoT prompting 방법 (그림에서 위)은 앞서 설명했..

2025. 7. 16. 10:54

Machine Learning - Thoery/Deep Learning

RLHF 설명 (Training language models to follow instructions with human feedback 논문 리뷰)

RLHF는 reinforcement learning from human feedback의 줄임말로, 학습을 데이터셋에만 의존하지 않고 사람의 피드백을 강화학습에 결합하여 사람의 생각과 리워드 모델의 결과가 일치하도록 하는 것을 말한다. 이러한 RLHF는 처음에 language model을 optimize하는 방법으로 제시되어, ChatGPT의 성능을 올리는 데에도 활용되었다고 알려져 있다. 이번 글에서는 이 RLHF가 무엇인지에 대해 알아보겠다.Motivation 옛날의 ChatGPT 버전에게 "세종대왕 맥북 던짐 사건이 뭔지 알려줘." 라고 요구하면, 세종대왕이 훈민정음을 쓰다가 담당자에게 분노하여 맥북프로와 함께 담당자를 던져 버렸다는 이야기를 말해준다는 밈이 있었다.  이런 글이 만들어졌을 때, 사..

2025. 1. 5. 23:11

Machine Learning - Thoery/LLM

Tree-of-thoughts 설명 (ToT 설명)

Tree-of-thoughts는 더 많은 exploration과 중간 reasoning 과정의 평가를 통해 더 나은 의사 결정을 가능하게 하는 CoT의 발전된 버전 중 하나로, 줄여서 ToT라고도 부른다. 다양한 search나 planning 알고리즘들이 tree 형태로 의사 결정 과정을 expansion하여 이 중에 최적의 결정을 선택하고는 하는데, ToT도 이와 비슷하게 동시에 다양한 reasoning 과정들을 탐색하여 복잡한 문제를 더 정확하게 풀 수 있도록 한다. 이번 글에서는 이러한 ToT가 어떻게 작동하는지에 대해 알아보겠다.Overview Tree-of-thoughts는 앞서 설명한 것처럼 tree 형태로 다양한 reasoning 브랜치들을 생성하여, 이 중에 가장 나은 선택지들만을 선택하여..

2024. 12. 28. 16:55

Machine Learning - Thoery/LLM

Chain-of-thoughts 설명 (CoT 설명)

Chain-of-thoughts는 large language model(LLM)이 최종적인 답까지 도달하기 전에 중간 reasoning 단계들을 더해줌으로써 LLM의 reasoning 능력과 함께 정확한 답을 도출할 수 있게 하는 것을 의미하고, 줄여서 CoT라고도 한다. 비교적 최근에 나온 모델 중 하나인 GPT-o1이 이러한 CoT를 기반으로 아래 그림처럼 다양한 문제를 해결하는 성능을 굉장히 많이 끌어 올렸다고 해 화제가 되기도 하였다. 나보다 IQ 높은 듯.. 이번 글에서는 최근 LLM의 핵심적인 성능 향상 기반 중 하나인 CoT가 무엇인지에 대해 알아보겠다.Overview CoT는 앞서 설명한 것처럼 여러 단계의 중간 reasoning 단계들을 통해 답을 더 쉽게 도출할 수 있게 하는 프레임워크..

2024. 12. 28. 14:40

Machine Learning - Thoery/Deep Learning

Generative Flow Network 설명 (GFlowNet 설명)

GFlowNet은 Generative Flow Network의 준말로, 각 state로 들어가는 flow의 합과 나가는 flow의 합을 동일하게 하여 우리가 목적으로 하는 reward에 비례하는 확률에 따라 다양한 샘플들을 생성하는 생성 모델을 의미한다. GFlowNet은 샘플의 diverse한 mode를 찾는 것을 통해 다양한 샘플을 생성하는 것을 가능하게 하고, 목적으로 하는 reward를 반영한 생성을 통해 실제 신약 개발 분야 등에서 유용하게 활용될 수 있다. 이번 글에서는 GFlowNet이 무엇이고, 이를 어떻게 학습 하는지에 대해 알아보겠다. Directed acyclic graph (DAG) 우선, GFlowNet을 쉽게 이해하기 위해서는 GFLowNet의 DAG가 어떻게 구성되어 있는지부터..

2024. 10. 22. 00:40

Machine Learning - Thoery/Deep Learning

Energy-based model 설명 (EBM 설명)

Energy-based model은 데이터의 확률 분포를 energy function을 활용해 정의한 모델로, observed (혹은 more likely) data point에는 더 적은 에너지를, outlier (혹은 unlikely) data point에는 더 높은 에너지를 할당한다. 이러한 energy-based model은 현실 세계에서 더 안정적인 분자 구조가 더 적은 에너지를 가지는 현상 등과 일맥상통하기 때문에, 다양한 도메인의 생성 모델로 활용되고는 한다. 이번 글에서는 이 energy-based model (EBM)이 무엇인지에 대해 알아보겠다.Motivation 많은 사람들이 흔히 알고 있는 생성 모델인 autoregressive model, VAE, normalizing flow 등..

2024. 6. 22. 15:14

Machine Learning - Thoery/Deep Learning

Score-based generative modeling through stochastic differential equations 논문 리뷰

Score-based generative modeling through stochastic differential equations는 NCSN과 DDPM의 개념을 연결하는 논문으로, noise scale의 개수를 무한으로 늘림으로써 SDE를 활용해 diffusion process와 reverse process를 모두 표현하는 개념을 제시한 논문이다. 이를 통해 더 높은 퀄리티의 샘플들을 생성하고, bound가 아닌 정확한 log-likelihood의 계산까지 가능하게 하여 diffusion model의 새로운 길을 열었다. 이번 글에서는 이 Score-based generative modeling through SDEs 논문에 대해 알아보겠다.Score-based generative modeling th..

2024. 6. 7. 22:31

Machine Learning - Thoery/Deep Learning

NCSN 설명 (Noise conditional score network 설명)

NCSN은 noise conditional score network의 줄임말로, 데이터를 점점 더 작아지는 노이즈로 perturb함으로써 기존 score matching의 문제를 해결한 최초의 높은 성능의 score-based diffusion model이다. Yang Song의 Generative modeling by estimating gradients of the data distribution 논문에서 처음 제시된 개념으로, score-based diffusion model들의 가장 기본이 되는 모델이다. 이번 글에서는 이러한 NCSN이 무엇인지에 대해 알아보겠다. Recap 이 글을 이해하기 위해서는 score matching과 Langevin dynamics에 대한 이해가 필수적이다. 여기에서..

2024. 4. 10. 17:51

Machine Learning - Thoery

Euler-Maruyama method 설명 (오일러-마루야마 기법 설명)

Euler-Maruyama method는 SDE의 해를 쉽고 간단하게 근사하는 방법으로, ODE의 해를 근사하는 Euler method를 SDE에 맞게 확장시킨 방법이다. Euler-Maruyama method도 Euler method와 비슷하게 아주 작은 스텝을 이동하면서 값이 어떻게 바뀌는지를 활용하여 해를 근사한다. 이번 글에서는 Euler-Maruyama method가 무엇인지에 대해 알아보겠다. Motivation 다음과 같은 SDE의 해를 구하는 것이 목적이라고 하자. 이는 다시 말해, 아래와 같은 식이 주어졌을 때 특정 시점 $t$의 $x(t)$ 값을 구하는 것이 목적인 것이다. 이러한 식을 바로 적분을 통해서 직접적으로 풀기 위해서는 다음과 같은 식을 해결하면 된다. 하지만 이러한 식을 푸..

2024. 4. 10. 15:41

Machine Learning - Thoery

Score matching 설명 (Score function 설명)

Score function은 log-likelihood의 gradient를 의미하고, score matching은 실제 probability density function을 구하는 것이 아닌, 이러한 score 값을 활용하여 probability density function을 추정하는 것을 의미한다. 이러한 score matching 기법은 최근 SDE를 활용하여 diffusion model을 모델링할 때에 널리 활용된다. 이번 글에서는 score function과 score matching이 무엇인지에 대해 알아보겠다. Score function Score function은 앞서 언급한 것처럼 log-likelihood의 gradient를 의미한다. 이를 식으로 표현하면 다음과 같다. 만약 우리가 p..

2024. 3. 24. 20:26

Machine Learning - Thoery

Langevin dynamics 설명 (Langevin equation 설명)

Langevin dynamics는 복잡한 시스템에서 입자들의 움직임을 시뮬레이션하기 위한 방법으로, score function을 기반으로 하는 SDE를 활용하는 diffusion model에서 샘플링을 하는 방법으로 널리 사용된다. 이번 글에서는 이러한 Langevin dynamics가 어떻게 유도되고, generative model에서 어떻게 사용되는지에 대해 알아보겠다.Fokker-Planck equationFokker-Planck equation은 probability density function이 시간이 흐르면서 stochastic process를 거쳐 어떻게 변하는지를 표현하는 미분방정식이다. 확률 분포는 시간이 흐르면서 어떠한 stationary distribution, 즉 더 이상 확률 분..

2024. 3. 23. 23:30

Machine Learning - Thoery

Wiener process 설명 (Brownian motion 설명)

Wiener process는 Brownian motion을 표현하는 stochastic process로, 시간이 지나면서 어떤 random한 움직임이 어떻게 변화하는지를 표현하는 프로세스이다. SDE는 다양한 방법으로 표현될 수 있지만, SDE 내의 randomness는 다음 식과 같이 종종 Wiener process로 표현된다. 그렇기 때문에 SDE를 활용하여 diffusion process를 표현하는 diffusion model에 관련된 논문들에서 Wiener proces라는 단어가 흔히 나오고는 한다. 이번 글에서는 이 Wiener process가 무엇인지에 대해 알아보겠다. Motivation Wiener process는 많은 real world의 randomness를 표현하기 위해 사용된다. 대..

2024. 3. 23. 20:58

Machine Learning - Thoery

Euler's method 설명 (오일러 기법 설명)

Euler's method는 initial condition을 활용해서 ODE의 해를 근사하는 기법으로, ODE에 의해 결정된 벡터장의 방향, 즉 커브의 방향을 따라 아주 작은 스텝을 이동함으로써 문제를 해결한다. Euler's method는 가장 간단한 형태의 numerical method로, 함수의 값을 근사하는 가장 기본적인 방법이다. 이번 글에서는 Euler's method가 무엇인지에 대해 알아보겠다. Motivation ODE는 다음 식과 같이 x(t)가 시간 t에 따라 어떻게 변하는지를 표현하는 식이다. 우리의 목적은 initial condition $x(t_0)$와 함수 $f(x(t),t)$가 주어졌을 때, 어떤 시점의 $x(t)$의 값을 찾는 것이다. 즉, ODE를 만족하는 해의 커브를 ..

2024. 3. 10. 21:51