Machine Learning - Thoery/Deep Learning 검색 결과
12 개의 검색 결과가 있습니다.
Machine Learning - Thoery/Deep Learning

RLHF 설명 (Training language models to follow instructions with human feedback 논문 리뷰)

RLHF는 reinforcement learning from human feedback의 줄임말로, 학습을 데이터셋에만 의존하지 않고 사람의 피드백을 강화학습에 결합하여 사람의 생각과 리워드 모델의 결과가 일치하도록 하는 것을 말한다. 이러한 RLHF는 처음에 language model을 optimize하는 방법으로 제시되어, ChatGPT의 성능을 올리는 데에도 활용되었다고 알려져 있다. 이번 글에서는 이 RLHF가 무엇인지에 대해 알아보겠다.Motivation 옛날의 ChatGPT 버전에게 "세종대왕 맥북 던짐 사건이 뭔지 알려줘." 라고 요구하면, 세종대왕이 훈민정음을 쓰다가 담당자에게 분노하여 맥북프로와 함께 담당자를 던져 버렸다는 이야기를 말해준다는 밈이 있었다.  이런 글이 만들어졌을 때, 사..

2025. 1. 5. 23:11
Machine Learning - Thoery/Deep Learning

Generative Flow Network 설명 (GFlowNet 설명)

GFlowNet은 Generative Flow Network의 준말로, 각 state로 들어가는 flow의 합과 나가는 flow의 합을 동일하게 하여 우리가 목적으로 하는 reward에 비례하는 확률에 따라 다양한 샘플들을 생성하는 생성 모델을 의미한다. GFlowNet은 샘플의 diverse한 mode를 찾는 것을 통해 다양한 샘플을 생성하는 것을 가능하게 하고, 목적으로 하는 reward를 반영한 생성을 통해 실제 신약 개발 분야 등에서 유용하게 활용될 수 있다. 이번 글에서는 GFlowNet이 무엇이고, 이를 어떻게 학습 하는지에 대해 알아보겠다. Directed acyclic graph (DAG) 우선, GFlowNet을 쉽게 이해하기 위해서는 GFLowNet의 DAG가 어떻게 구성되어 있는지부터..

2024. 10. 22. 00:40
Machine Learning - Thoery/Deep Learning

Energy-based model 설명 (EBM 설명)

Energy-based model은 데이터의 확률 분포를 energy function을 활용해 정의한 모델로, observed (혹은 more likely) data point에는 더 적은 에너지를, outlier (혹은 unlikely) data point에는 더 높은 에너지를 할당한다. 이러한 energy-based model은 현실 세계에서 더 안정적인 분자 구조가 더 적은 에너지를 가지는 현상 등과 일맥상통하기 때문에, 다양한 도메인의 생성 모델로 활용되고는 한다. 이번 글에서는 이 energy-based model (EBM)이 무엇인지에 대해 알아보겠다.Motivation 많은 사람들이 흔히 알고 있는 생성 모델인 autoregressive model, VAE, normalizing flow 등..

2024. 6. 22. 15:14
Machine Learning - Thoery/Deep Learning

Score-based generative modeling through stochastic differential equations 논문 리뷰

Score-based generative modeling through stochastic differential equations는 NCSN과 DDPM의 개념을 연결하는 논문으로, noise scale의 개수를 무한으로 늘림으로써 SDE를 활용해 diffusion process와 reverse process를 모두 표현하는 개념을 제시한 논문이다. 이를 통해 더 높은 퀄리티의 샘플들을 생성하고, bound가 아닌 정확한 log-likelihood의 계산까지 가능하게 하여 diffusion model의 새로운 길을 열었다. 이번 글에서는 이 Score-based generative modeling through SDEs 논문에 대해 알아보겠다.Score-based generative modeling th..

2024. 6. 7. 22:31
Machine Learning - Thoery/Deep Learning

NCSN 설명 (Noise conditional score network 설명)

NCSN은 noise conditional score network의 줄임말로, 데이터를 점점 더 작아지는 노이즈로 perturb함으로써 기존 score matching의 문제를 해결한 최초의 높은 성능의 score-based diffusion model이다. Yang Song의 Generative modeling by estimating gradients of the data distribution 논문에서 처음 제시된 개념으로, score-based diffusion model들의 가장 기본이 되는 모델이다. 이번 글에서는 이러한 NCSN이 무엇인지에 대해 알아보겠다. Recap 이 글을 이해하기 위해서는 score matching과 Langevin dynamics에 대한 이해가 필수적이다. 여기에서..

2024. 4. 10. 17:51
Machine Learning - Thoery/Deep Learning

D3PM 설명 (Discrete denoising diffusion probabilistic models 설명)

Discrete denoising diffusion probabilistic models (D3PM)은 그래프, 텍스트와 같은 discrete 데이터에 적용할 수 있는 diffusion model을 말한다. D3PM은 Markov transition matrix를 활용해 각각의 diffusion step을 모델링하였고, 이 transition matrix의 선택에 따라 생성 모델의 결과가 달라질 수 있음을 보였다. 이번 글에서는 D3PM 모델이 어떻게 continous가 아닌 discrete 데이터를 모델링하는지에 대해 알아보겠다. * 이 글은 diffusion model에 대한 기본적인 이해가 있다고 가정한다. Key idea 우선, D3PM의 핵심 아이디어에 대해 살펴보겠다. D3PM은 위에서도 언급..

2023. 1. 21. 22:37
Machine Learning - Thoery/Deep Learning

Denoising Diffusion Probabilistic Models 논문 리뷰 (DDPM 설명, DDPM 증명)

Denoising diffusion probabilistic models (DDPM)은 diffusion model을 활용한 image generative model을 제시한 논문으로, 기존의 diffusion model의 loss term과 parameter estimation 과정을 더 학습이 잘 되는 방향으로 발전시킨 논문이다. 이번 글에서는 DDPM 모델이 어떻게 작동하는지에 대해서 알아보겠다. * 이 글은 diffusion model에 대한 이해가 있다고 가정한다. 시작하기 전에 간단히 diffusion model을 복습하자면, diffusion model은 기본적으로 data로부터 noise를 만들어내는 forward (diffusion) process $q(x_{1:T}|x_0)$와 nois..

2022. 11. 22. 06:00
Machine Learning - Thoery/Deep Learning

Diffusion model 설명 (Diffusion model이란? Diffusion model 증명)

Diffusion model은 데이터를 만들어내는 deep generative model 중 하나로, data로부터 noise를 조금씩 더해가면서 data를 완전한 noise로 만드는 forward process(diffusion process)와 이와 반대로 noise로부터 조금씩 복원해가면서 data를 만들어내는 reverse process를 활용한다. Diffusion model은 현재 image 쪽에서는 가장 잘 작동하는 generative model 중 하나이기 때문에 기본으로 알아놓으면 아주 유용할 것 같다. 그러므로 이번 글에서는 diffusion model이 무엇인지에 대해 알아보겠다. Overview Diffusion model은 위에서도 언급한 것처럼, data에 noise를 조금씩 더..

2022. 10. 2. 00:17
Machine Learning - Thoery/Deep Learning

Line search 설명 (Exact line search란? Backtracking line search란?)

Line serach는 convex optimization에서 learning rate의 값을 정하는 방법으로, 우리가 최소화하고 싶어하는 함숫값이 가장 작아지는 방향으로 learning rate를 정하는 것을 말한다. 적절한 learning rate를 정하는 것은 이번 글에서는 line search, 그 중에서도 exact line search와 backtracking line search가 무엇인지에 대해 알아보겠다. 정의 Line search는 앞서 말했듯이 convex optimization에서 learning rate의 값을 정하는 방법이다. Learning rate가 너무 크면 우리가 최소화하려는 값이 수렴할 수 없고, 너무 작으면 수렴하는데에 굉장히 오랜 시간이 걸리기 때문에 적절한 lear..

2022. 8. 26. 17:06
Machine Learning - Thoery/Deep Learning

Gradient descent (Steepest descent) 설명 (Learning rate 설명, gradient descent의 한계점)

Gradient descent (Steepest descent)는 가장 기본적인 optimization 방법론 중 하나로, 어떤 함수를 gradient의 반대 방향으로 반복적으로 이동시키면서 함수의 minimum을 찾아나가는 알고리즘이다. 이번 글에서는 gradient descent 알고리즘이 무엇이고, 이것이 어떻게 minimum을 찾아나가는지에 대해서 알아보겠다. 정의 우리가 어떤 함수 $F(x)$의 mimimum을 찾고 싶다고 할 때, gradient descent는 다음과 같은 식에 따라서 값을 계속 감소시켜나간다. (아래 식에서 $\gamma$를 learning rate 혹은 step size라고 부른다.) 위 식을 해석하면, 기존의 점 $a_n$으로부터 이 점의 함수의 gradient(간단히 ..

2022. 8. 8. 20:00
Machine Learning - Thoery/Deep Learning

GAN 설명 (Generative Adversarial Network란?, GAN 증명, GAN 한계)

GAN은 generative adversarial network의 줄임말로, VAE, diffusion model과 같은 generative model의 한 종류로써 데이터를 생성하는 generator와 데이터를 구별하는 discriminator가 경쟁하는 과정을 통해서 데이터를 학습한다. 이번 글에서는 GAN이 무엇인지와 함께, 어떤 원리로 동작하는지에 대해 수식과 함께 살펴보겠다. Motivation GAN은 앞서 언급했듯이, 데이터를 생성하는 generator와 데이터를 구별하는 discriminator로 이루어져 있다. Generator는 최대한 실제처럼 보이는 데이터를 생성함으로써 discriminator를 속이려고 시도하고, 이에 반해 discriminator는 실제 데이터와 만들어진 가짜 데..

2022. 7. 20. 15:51
Machine Learning - Thoery/Deep Learning

VAE 설명 (Variational autoencoder란? VAE ELBO 증명)

Variational autoencoder, 줄여서 VAE는 GAN, diffusion model과 같이 generative model의 한 종류로, input과 output을 같게 만드는 것을 통해 의미 있는 latent space를 만드는 autoencoder와 비슷하게 encoder와 decoder를 활용해 latent space를 도출하고, 이 latent space로부터 우리가 원하는 output을 decoding함으로써 data generation을 진행한다. 이번 글에서는 VAE가 무엇이고, 어떻게 작동하는지를 최대한 쉽게 살펴보겠다. * 이 글은 MLE 및 bayes theory에 대한 기본적인 이해가 있다고 가정한다.구조 및 학습 많은 generative model들이 그렇듯이, ..

2022. 3. 31. 20:30