안녕하세요 beomi님, 혹시 제가 맞게 tokenizer를 사용하고 있다면, 한글인코딩이 깨진게 아닌가 궁금합니다.
안녕하세요. BBPE 인코딩이라 해당 처럼 나오는게 정상입니다.
· Sign up or log in to comment
