README.md · Saxo/llama3_Linkbricks_korean_tokenzier

metadata

license: apache-2.0
language:
  - ko
  - en
tags:
  - tokenizer
  - korean tokenizer
  - llama3

AI 와 빅데이터 분석 전문 기업인 Linkbricks(www.linkbricks.com)의 데이터사이언티스트인 지윤성 박사(Saxo)가 llama3 기본 Tokenizer(128,257 토큰)에 한국어 토큰 17만개를 추가한 토크나이저로 llama3 계열 파인튜닝시 기존 llama3 토크나이저 대신 사용할 수 있도록 tokenzier_config.json과 special_tokens_map.json 은 수정 없이 tokenzier.json에 vocab과 merges 만 append한 토크나이저이다. 한글 코퍼스 약 6억건에서 frequency>2 이상만 추출한 토큰들로서 과학, 예술, 사회, 문화, 뉴스, 리뷰, 소셜, 채팅 등을 대부분 커버한다. 참고로 llama2가 워드피스센텐스계열 토크나이저라면 이번 llama3에서는 바이트레벨 bpe로 변경되어 기본 토크나이저를 바이트레벨bpe로 하고 프리토크나이저와 노멀라이저 파이프라인들은 기존 llama3 토크나이저와 동일하게 설정하였습니다.

토크나이저 품질 비교
example = "Tokenizers 라이브러리는 위의 개별 단계에 대해 여러 옵션을 제공할 수 있도록 만들어졌으며, 이러한 옵션들은 목적에 따라 짜맞춰서 활용할 수 있습니다. 이 섹션에서는 섹션 2에서 설명했던 기존 토크나이저에서 새로운 토크나이저를 학습하는 것과는 달리 아예 처음부터 토크나이저를 구축하는 방법을 볼 것입니다. 이를 통해서, 생각할 수 있는 모든 종류의 토크나이저를 만들 수 있습니다!"

llama3_Linkbricks_korean_tokenzier_stem1 : vocab size = 296,890
['Token', 'izers', 'ĠëĿ¼ìĿ´ë¸ĮëŁ¬ë¦¬ëĬĶ', 'ĠìľĦìĿĺ', 'Ġê°ľë³Ħ', 'Ġëĭ¨ê³ĦìĹĲ', 'ĠëĮĢíķ´', 'ĠìĹ¬ëŁ¬', 'Ġìĺµìħĺ', 'ìĿĦ', 'Ġìłľê³µ', 'íķł', 'ĠìĪĺ', 'ĠìŀĪëıĦë¡Ŀ', 'Ġë§Įëĵ¤ìĸ´ì¡Įìľ¼ë©°', ',', 'ĠìĿ´ëŁ¬íķľ', 'Ġìĺµìħĺ', 'ëĵ¤ìĿĢ', 'Ġëª©ìłģ', 'ìĹĲ', 'ĠëĶ°ëĿ¼', 'Ġì§ľ', 'ë§ŀ', 'ì¶°ìĦľ', 'ĠíĻľìļ©', 'íķł', 'ĠìĪĺ', 'ĠìŀĪìĬµëĭĪëĭ¤', '.', 'ĠìĿ´', 'ĠìĦ¹ìħĺ', 'ìĹĲìĦľëĬĶ', 'ĠìĦ¹ìħĺ', 'Ġ', '2', 'ìĹĲìĦľ', 'ĠìĦ¤ëªħ', 'íĸĪëįĺ', 'Ġê¸°ì¡´', 'ĠíĨ', 'łí', 'ģ¬', 'ëĤĺìĿ´', 'ìłĢ', 'ìĹĲìĦľ', 'ĠìĥĪë¡ľìļ´', 'ĠíĨ', 'łí', 'ģ¬', 'ëĤĺìĿ´', 'ìłĢë¥¼', 'ĠíķĻìĬµíķĺëĬĶ', 'Ġê²ĥê³¼ëĬĶ', 'Ġëĭ¬ë¦¬', 'ĠìķĦìĺĪ', 'Ġì²ĺìĿĮë¶ĢíĦ°', 'ĠíĨ', 'łí', 'ģ¬', 'ëĤĺìĿ´', 'ìłĢë¥¼', 'Ġêµ¬ì¶ķíķĺëĬĶ', 'Ġë°©ë²ķìĿĦ', 'Ġë³¼', 'Ġê²ĥìŀħëĭĪëĭ¤', '.', 'ĠìĿ´ë¥¼', 'ĠíĨµíķ´ìĦľ', ',', 'ĠìĥĿê°ģíķł', 'ĠìĪĺ', 'ĠìŀĪëĬĶ', 'Ġëª¨ëĵł', 'Ġì¢ħë¥ĺìĿĺ', 'ĠíĨ', 'łí', 'ģ¬', 'ëĤĺìĿ´', 'ìłĢë¥¼', 'Ġë§Įëĵ¤', 'ĠìĪĺ', 'ĠìŀĪìĬµëĭĪëĭ¤', '!']

llama3_original : vocab size = 128,257
['Token', 'izers', 'ĠëĿ¼ìĿ´', 'ë¸Į', 'ëŁ¬', 'ë¦¬ëĬĶ', 'ĠìľĦ', 'ìĿĺ', 'Ġê°ľ', 'ë³Ħ', 'Ġëĭ¨', 'ê³Ħ', 'ìĹĲ', 'ĠëĮĢíķ´', 'ĠìĹ¬ëŁ¬', 'Ġìĺ', 'µ', 'ìħĺ', 'ìĿĦ', 'Ġìłľê³µ', 'íķł', 'ĠìĪĺ', 'ĠìŀĪëıĦë¡Ŀ', 'Ġë§Įëĵ¤ìĸ´', 'ì¡Į', 'ìľ¼ë©°', ',', 'ĠìĿ´ëŁ¬íķľ', 'Ġìĺ', 'µ', 'ìħĺ', 'ëĵ¤ìĿĢ', 'Ġëª©', 'ìłģ', 'ìĹĲ', 'ĠëĶ°ëĿ¼', 'Ġì§', 'ľ', 'ë§ŀ', 'ì¶', '°', 'ìĦľ', 'ĠíĻľìļ©', 'íķł', 'ĠìĪĺ', 'ĠìŀĪìĬµëĭĪëĭ¤', '.', 'ĠìĿ´', 'ĠìĦ', '¹', 'ìħĺ', 'ìĹĲìĦľëĬĶ', 'ĠìĦ', '¹', 'ìħĺ', 'Ġ', '2', 'ìĹĲìĦľ', 'ĠìĦ¤ëªħ', 'íĸĪëįĺ', 'Ġê¸°', 'ì¡´', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ìĹĲìĦľ', 'ĠìĥĪë¡ľìļ´', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ë¥¼', 'ĠíķĻ', 'ìĬµ', 'íķĺëĬĶ', 'Ġê²ĥ', 'ê³¼', 'ëĬĶ', 'Ġëĭ¬', 'ë¦¬', 'ĠìķĦ', 'ìĺĪ', 'Ġì²ĺìĿĮ', 'ë¶ĢíĦ°', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ë¥¼', 'Ġêµ¬', 'ì¶ķ', 'íķĺëĬĶ', 'Ġë°©ë²ķ', 'ìĿĦ', 'Ġë³¼', 'Ġê²ĥìŀħëĭĪëĭ¤', '.', 'ĠìĿ´ë¥¼', 'ĠíĨµ', 'íķ´ìĦľ', ',', 'ĠìĥĿê°ģ', 'íķł', 'ĠìĪĺ', 'ĠìŀĪëĬĶ', 'Ġëª¨ëĵł', 'Ġì¢ħ', 'ë¥ĺ', 'ìĿĺ', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ë¥¼', 'Ġë§Įëĵ¤', 'ĠìĪĺ', 'ĠìŀĪìĬµëĭĪëĭ¤', '!']['Token', 'izers', 'ĠëĿ¼ìĿ´', 'ë¸Į', 'ëŁ¬', 'ë¦¬ëĬĶ', 'ĠìľĦ', 'ìĿĺ', 'Ġê°ľ', 'ë³Ħ', 'Ġëĭ¨', 'ê³Ħ', 'ìĹĲ', 'ĠëĮĢíķ´', 'ĠìĹ¬ëŁ¬', 'Ġìĺ', 'µ', 'ìħĺ', 'ìĿĦ', 'Ġìłľê³µ', 'íķł', 'ĠìĪĺ', 'ĠìŀĪëıĦë¡Ŀ', 'Ġë§Įëĵ¤ìĸ´', 'ì¡Į', 'ìľ¼ë©°', ',', 'ĠìĿ´ëŁ¬íķľ', 'Ġìĺ', 'µ', 'ìħĺ', 'ëĵ¤ìĿĢ', 'Ġëª©', 'ìłģ', 'ìĹĲ', 'ĠëĶ°ëĿ¼', 'Ġì§', 'ľ', 'ë§ŀ', 'ì¶', '°', 'ìĦľ', 'ĠíĻľìļ©', 'íķł', 'ĠìĪĺ', 'ĠìŀĪìĬµëĭĪëĭ¤', '.', 'ĠìĿ´', 'ĠìĦ', '¹', 'ìħĺ', 'ìĹĲìĦľëĬĶ', 'ĠìĦ', '¹', 'ìħĺ', 'Ġ', '2', 'ìĹĲìĦľ', 'ĠìĦ¤ëªħ', 'íĸĪëįĺ', 'Ġê¸°', 'ì¡´', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ìĹĲìĦľ', 'ĠìĥĪë¡ľìļ´', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ë¥¼', 'ĠíķĻ', 'ìĬµ', 'íķĺëĬĶ', 'Ġê²ĥ', 'ê³¼', 'ëĬĶ', 'Ġëĭ¬', 'ë¦¬', 'ĠìķĦ', 'ìĺĪ', 'Ġì²ĺìĿĮ', 'ë¶ĢíĦ°', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ë¥¼', 'Ġêµ¬', 'ì¶ķ', 'íķĺëĬĶ', 'Ġë°©ë²ķ', 'ìĿĦ', 'Ġë³¼', 'Ġê²ĥìŀħëĭĪëĭ¤', '.', 'ĠìĿ´ë¥¼', 'ĠíĨµ', 'íķ´ìĦľ', ',', 'ĠìĥĿê°ģ', 'íķł', 'ĠìĪĺ', 'ĠìŀĪëĬĶ', 'Ġëª¨ëĵł', 'Ġì¢ħ', 'ë¥ĺ', 'ìĿĺ', 'ĠíĨ', 'łí', 'ģ', '¬', 'ëĤĺ', 'ìĿ´', 'ìłĢ', 'ë¥¼', 'Ġë§Įëĵ¤', 'ĠìĪĺ', 'ĠìŀĪìĬµëĭĪëĭ¤', '!']

상업적 이용시 허가 필요합니다.