INTRO

MySQL의 Full-Text Search에서 단어를 파싱하여 검색하는 과정에서 필요한 paser 중 하나이다.

이전에 프로젝트에서 사용해본 적이 있는데, 당시 완성에만 너무 급급해서 진득하게 문서를 읽고 정리하지 않았기 때문에 제대로 이해하기 위해 정리해보자

Ngram

• ngram은 MySQL의 Built-in Parser이다. (5.7이상)
• InnoDB, MyISAM 엔진을 지원하고 중국어(C), 일본어(J), 한국어(K) 를 지원한다(CJK)
• ngram parser는 MySQL 5.7 이상, InnoDB 엔진을 사용할 때 지원되며 8.0 이상에서는 플러그인 방식으로 사용할 수 있다.

Tokenize

ngram parser 는 문자열을 n개의 문자로 구성된 연속된 시퀀스로 tokenize 한다.

string = "abcd"

n=1: 'a','b','c','d'
n=2: 'ab','bc','cd'
n=3: 'abc','bcd'
n=4: 'abcd'

한글은 어떻게 할까?

# if token size = 2 
string = "빵은 커피랑 먹으면 맛있다"

["빵은","커피","피랑","먹으","으면","맛있","있다"]

토큰화 할 때 띄어쓰기(공백)은 무시된다.

• 예시

Token Size

ngram parser의 기본 토큰 사이즈는 2(bigram)이다.