NLP 검색 결과
3 개의 검색 결과가 있습니다.
Machine Learning - Thoery/Traditional ML

SentencePiece 설명 (SPM 설명, SentencePiece 예시)

SentencePiece는 pre-tokenization을 필요로 하지 않는 tokenizer의 하나로, 어떤 언어에도 자유롭게 적용될 수 있고 속도도 굉장히 빠르기 때문에 NLP에서 널리 사용되는 tokenizer이다. 이번 글에서는 SentencePiece가 무엇인지와 함께 이를 어떻게 활용할 수 있는지 에 대한 예시 코드도 함께 살펴보겠다. 설명 SetencePiece는 간단하게 말하면 기존에 존재하던 unigram, BPE와 같은 tokenizer들을 모든 언어에 대해 적용이 가능하도록 generalize하고 약간의 추가적인 기능들을 더해서 구현한 것이다. 특별히 새로운 알고리즘을 제시했다기보다는, 기존의 tokenizer들을 좀 더 사용하기 편하고 성능이 좋게 개선했다고 생각하면 되겠다. Sen..

2022. 12. 1. 06:00
Machine Learning - Thoery/Traditional ML

Unigram tokenizer 설명 (unigram 설명, 장단점)

Unigram tokenizer는 BPE와 같이 문장 혹은 단어 안에 있는 글자들을 적절한 단위로 나누는 subword tokenizer의 하나로, 큰 vocabulary로부터 필요하지 않은 토큰을 하나씩 줄여나감으로써 최종적인 token들을 도출하는 알고리즘이다. 이번 글에서는 Unigram tokenizer가 어떻게 토큰들을 만들어내는지에 대해 알아보겠다. Unigram tokenizer 알고리즘 우선, unigram tokenizer를 한 눈에 볼 수 있게 표현하면 다음과 같다. Unigram 알고리즘은 BPE와 동일하게 기본적으로 문장이 pre-tokenize 되어 있다고 가정한다. 즉, 하나의 문장이 모두 이어져 있는 것이 아닌 띄어쓰기 등으로 분리되어 있다고 가정하는 것이다. 우리의 예시 문장..

2022. 11. 30. 21:04
Machine Learning - Thoery/Traditional ML

Byte pair encoding 설명 (BPE tokenizer, BPE 설명, BPE 예시)

Byte pair encoding (BPE)는 문장 혹은 단어 안에 있는 글자들을 적절한 단위로 나누는 subword tokenizer의 하나로, token들의 빈도를 기반으로 높은 빈도의 토큰들을 merge해가며 최종 token들을 만들어내는 방법이다. 이번 글에서는 BPE가 어떻게 토큰들을 만들어내는지에 대해서 알아보겠다. BPE tokenizer 알고리즘 BPE 알고리즘을 간단하게 표현하면 다음과 같다. BPE 알고리즘은 기본적으로 문장이 pre-tokenize 되어 있다고 가정한다. 즉, 하나의 문장이 모두 이어져 있는 것이 아닌 띄어쓰기 등으로 분리되어 있다고 가정하는 것이다. 우리의 예시 문장이 "hug pug pun bun hugs"라고 하자. (아무런 뜻이 없는 그냥 예시 문장이다.) 그러..

2022. 11. 27. 18:16