Update README.md

README.md

@@ -16,7 +16,7 @@ AI 와 빅데이터 분석 전문 기업인 Linkbricks(www.linkbricks.com)의
 한국어 토큰 17만개를 추가한 토크나이저로 llama3 계열 파인튜닝시 기존 llama3 토크나이저 대신 사용할 수 있도록 tokenzier_config.json과 special_tokens_map.json 은 수정 없이
 tokenzier.json에 vocab과 merges 만 append한 토크나이저이다.
 한글 코퍼스 약 6억건에서 frequency>2 이상만 추출한 토큰들로서 과학, 예술, 사회, 문화, 뉴스, 리뷰, 소셜, 채팅 등을 대부분 커버한다.
-참고로 llama2가 워드피스센텐스계열 토크나이저라면 이번 llama3에서는 바이트레벨 bpe로 변경되어 기본 토크나이저를 바이트레벨bpe로 하고 프리토크나이저와 노멀라이저들은 기존 llama3 토크나이저와 동일하게
+참고로 llama2가 워드피스센텐스계열 토크나이저라면 이번 llama3에서는 바이트레벨 bpe로 변경되어 기본 토크나이저를 바이트레벨bpe로 하고 프리토크나이저와 노멀라이저 파이프라인들은 기존 llama3 토크나이저와 동일하게
 설정하였습니다.
 <br>
 <br>