BertTokenizer.from_pretrained('bert-base-multilingual-cased') does not recognize Korean
Author: chiehminwei
Pull request: no

I'm using the pre-trained multilingual tokenizer to tokenize some Korean texts, but it seems like this tokenizer is unable to recognize any Korean text at all.

For example, when running on all the Universal Dependency Korean treebanks, this tokenizer fails to tokenize (it produces '[UNK]') the following characters. I know some of them are not Korean, but most of them are. More confusingly, when I check the `vocab.txt` file for the [BERT-Base, Multilingual Cased](https://storage.googleapis.com/bert_models/2018_11_23/multi_cased_L-12_H-768_A-12.zip) in the original repo (https://github.com/google-research/bert), it shows that Korean characters (I manually checked for '렬') are in the vocabulary.

This makes me wonder whether there is any bug in the tokenizer provided in this PyTorch repo. I'm considering switching back to the tokenizer in the original code base. Will this create any compatibility issues?

{'燄', '렬', '툇', '촌', '내', '윙', '쌈', '꿇', '톨', '葚', '솟', '힌', '래', '銎', '凊', '컸', '톤', '🙏', '졍', '의', '슭', '옷', '챠', '囒', '뷘', '멤', '싱', '츠', '령', '겸', '댄', '휙', '醗', '돕', '톳', '던', '페', '띔', '짚', '락', '앙', '왜', '핼', '컫', '쿵', '왠', '기', '냇', '칼', '런', '험', '드', '궐', '얄', '찜', '렝', '빈', '후', '싫', '雎', '덕', '틀', '딴', '굶', '뜸', 'ㅑ', '🌹', '손', '펴', '쏠', '튀', '화', '슘', '대', '왕', '잣', '딨', '듈', '뎀', '鑛', '칭', '젝', '뉴', '✋', '쑤', '작', '묘', '飮', '새', '쑥', '嘈', '캐', '笳', '랩', '💖', '히', '맵', '냈', '츰', '꿨', '딤', '밑', '낼', '訇', '뀌', '뻑', '혔', '겝', '얹', '랍', '😘', '옅', '징', '권', '욱', '탭', '🙈', '흩', '벳', '밈', '굴', '연', '엑', '綉', '숯', '무', '셋', '벌', '텃', '클', '쫑', '덟', '쳬', '멎', '칵', '팅', '뜨', '땄', '㎡', '끽', '뿍', '담', '펭', '쉰', '있', '쏘', '탤', '濞', '치', '옵', '잃', '언', '빽', '짠', '넙', '깆', '콤', '러', '픽', '푸', '회', '낍', '스', '쩨', '진', '풋', '횡', '탑', '솝', '딕', '영', '볐', '씹', '뒷', '퀼', '렸', '별', '옇', '얘', '謔', 'Ↄ', '팎', '긋', '뽐', '현', '켠', '룻', '소', '몇', '쨌', '벨', '쩐', '붐', '트', '떴', '😊', '줌', '꽤', '밭', '쓴', '매', '쳤', '뱃', '콰', '먕', '봤', '😜', '베', '첩', '년', '짐', '뻤', '괭', '함', '鍝', '도', '폭', '꾸', '뜩', '괞', '닦', '몹', '👶', '팰', '콕', '떻', '킬', '강', '찡', '궂', '꿉', '빴', '즈', '데', '껑', '엘', '약', '천', '씻', '💚', '㈜', '롯', '털', '야', '혈', '펀', '👑', '😁', '뺐', '繽', '닙', '쪽', '행', '넉', '휩', '퀀', '쇠', '셑', '댑', '얽', '질', '뻬', '🌀', '덥', '骯', '뀔', '룩', '팀', '愙', '괜', '몽', '냐', '씬', '서', '또', '썬', '절', '갱', 'ㅊ', '왼', '펠', '놈', '쯩', '름', '토', '받', '璣', '咧', '츄', '깃', '헬', '잇', '덜', '곡', '것', '겹', '지', '檣', '억', '셀', '픔', '륙', '돈', 'ㅜ', '믈', '멈', '빗', '을', '둘', '탱', '얇', '식', '💙', '틱', '똑', '줄', '궤', '잼', '착', '廝', '枸', '볏', '샴', '疙', '飈', '💟', '댁', '날', '킵', '동', '룸', '😱', '헐', '부', '웬', '램', '윗', '숍', '齲', '빼', '빡', '혐', '뮌', '너', '란', '땠', '개', '이', '끔', '麩', '표', '훈', '간', '바', '옆', '틸', '탄', '살', 'ʈ', '꽂', '벙', '뱅', '닭', '멀', '줍', '✌', '짊', '葯', '쨍', '쥔', '않', '술', '육', '햇', '텁', '뵈', '쿄', '😏', '웅', '막', '낮', '브', '펼', '색', '갰', '께', '음', '쐬', '숱', '빛', '텝', '젠', '준', '키', '왓', '팝', '순', '떳', '번', '팡', '핫', '팬', '畹', '깍', '슷', '겋', '위', '꺽', '껀', '낸', '숴', '잠', '휴', '訐', '貮', '티', '늪', '깔', '涮', '촐', '좀', '쭐', '턴', '같', '먼', '꾹', '쎌', '충', '땅', '희', '敉', '캠', '넋', '맑', '갇', '凈', '를', '쌌', '잿', '똥', '핵', '올', '윈', '접', '뮤', '귤', '갖', '촘', '웍', '속', '댕', '砒', '謇', '郫', '낄', '죽', '가', '깁', '뷸', '는', '쏜', '뉜', '릉', '쓰', '텼', '환', '皰', '띠', '즙', '자', '톱', '봄', '갠', '쉽', '항', '답', '넣', '옐', '머', '빔', '쬐', '듄', '썰', '로', '칩', '마', '뽂', '숀', '침', '찍', '캘', '노', '뼈', '😦', '놔', '특', '곁', '챙', '밥', '형', '팠', '섬', '焗', '닉', '관', '쉐', '잡', '슐', '뗏', '획', '추', '욘', '꾼', '좌', '쫀', '나', '킹', '뼛', '은', '랴', '깻', '눈', '욕', '하', '🌓', '찢', '젊', '궁', '총', '놋', '둬', '뮬', '詝', '낭', '얌', '셨', '첫', '柢', '셉', '🎂', '닥', '결', '겪', '😕', '⅛', '뾰', '뢰', '륨', '좇', '꼐', '옌', '둔', '💜', '금', '평', '면', '癤', '암', '허', '뱉', '銠', '꿔', '✔', '멘', '겟', '싯', '씁', '림', '볕', '넨', '휠', '☝', '仚', '쟈', '덤', '벅', '즘', '숙', '철', 'ㄹ', '재', '낚', '쉬', '롬', '휘', '렀', '荑', '득', '옮', '렙', '신', '랏', '헉', '푼', '났', '퐁', '쌥', '볶', '밝', '샀', '뽑', '춘', '앓', '곧', '찮', '믿', '늙', '녘', '쌤', '예', '밍', '요', '엣', '딱', '못', '뺨', '렉', '모', '쟁', '퍽', '鬪', '팜', 'ɟ', '틈', '체', '벚', '뛴', '훅', '윤', '짤', '샐', '궈', '댐', '룡', '덧', '깊', '賬', '택', '넬', '흰', '髖', '쁠', '투', '만', '창', '묽', '썼', '🍰', '셩', '僊', '수', '豢', '癥', '삼', '춰', '렁', '퀴', '슛', '쌉', '😪', '묶', '정', '탓', '얏', '💏', '버', '쯔', '밉', '챈', '♩', '리', '떨', '료', '했', '잘', '뤄', '붕', '쩌', '탁', '혀', '繙', '껴', '박', '᾽', '뜀', '홉', '팔', '컨', '饃', '釩', '웰', '꼿', '薺', '縕', '깜', '케', '세', '鎰', '褂', '슌', '벵', '꼈', '카', '甍', '檨', '寗', '빵', '찔', '엊', '오', '통', '✨', '꽝', '니', '첨', '맺', '랑', '헙', '믄', '더', '쳐', '🏼', '옳', '쁨', '鈇', '취', '玕', '럽', '푹', '눠', '제', '디', '벡', '메', '걔', '訄', '滹', '眈', '☎', '물', '갓', '없', '😅', '송', '뭇', '멸', '빅', '늉', '난', '휼', '흙', '깥', '옥', '쫙', '례', '폰', '맏', '되', '훨', '헝', '짧', '쪼', '▶', '끓', '톡', '흥', '홈', '및', '콘', '빠', '등', '르', '깝', '밟', '펑', '끼', '잭', '와', '넷', '율', '찼', '酃', '균', '뿜', '악', '튈', '률', '😋', '걱', '과', '퀄', '튜', '끈', '늑', '렐', '쫄', '멋', '―', '탈', '憮', '잉', '醺', '粦', '맣', '큘', '曧', '쿼', '파', '둡', '탕', '抔', '솥', '척', '고', '🎵', '숭', '람', '벗', '잤', 'ௌ', '옻', '叨', '듀', '늘', '염', '늦', '돌', '껏', '귄', '🎄', '봉', '움', '뭄', '낯', '템', '멍', '랜', '💪', '헌', '샹', '압', '몰', '㎢', '큼', '윽', '🌒', '퀵', '덩', '잊', '眯', '피', '학', '넴', '갬', '녹', '출', '꼴', '🌑', '퍈', '쎄', '굳', '외', '붓', '犂', '슴', '늬', '글', '룬', '탠', '듣', '엿', '칸', '뿌', '갸', '냄', '깡', '괴', '든', '불', '툰', '甪', '箬', '빳', '한', '晳', '킷', '쭉', '둑', '꿍', '쭈', '맙', '鷄', '뜯', '폄', '酩', '퓨', '조', '롤', '프', '뻔', '교', '쿨', '펜', '닯', '🍃', '크', '뀐', '紈', '집', '땡', '놓', '훔', '즌', '헨', '녀', '켤', '따', '🍫', '포', '땐', '랙', '콩', '합', '농', '😍', '전', '엥', '텄', '💬', '긍', '😌', '뮐', '슝', '꽃', '븐', '🌼', '岦', '빤', '찐', '☺', '둥', '랬', '뚤', '깽', '뺏', '목', '슨', '웨', '굵', '칠', '뜻', '려', '산', '끕', '커', '튿', '단', '쌀', '햄', '牾', '켰', '륜', '밤', '골', '익', '흉', '뷔', '랄', '뱀', '숨', '돔', '붙', '찧', '둠', '갔', '럿', '져', 'ʂ', '할', '존', '챌', '늠', '픈', '뷰', '댈', '갑', '컹', '쪄', '맜', '騏', '칡', '餮', '앎', '누', '굿', '幪', '멕', '백', '곤', '싸', '꼬', '헷', '펄', '럴', '饕', '뚫', '芘', 'ᆢ', '젯', '릴', '북', '💛', '룹', '핀', '옛', '병', '낟', '품', '짱', '겼', '쉴', '앳', '닳', '쾌', '힐', '경', '짓', '델', '酊', '턱', '끌', '횃', '호', '씀', '켯', '‒', '컬', '밋', '인', '향', '렷', '蚺', '몸', '❄', '놀', '탯', '쏭', '왈', '점', '팟', '😡', '써', '념', '뒬', '혹', '폐', '격', '앨', '본', '듭', '엷', '헴', '루', '콜', '묏', '😒', '큰', '샛', '았', '돗', '퓌', '장', '깎', '훼', '엾', '맞', '윌', '윷', '졔', '꿰', '쩍', '양', '킨', '👏', '줬', '왔', '볍', '엌', '샤', '￡', '삶', '힘', '꽁', '길', '급', '럭', '엮', '瘩', '땀', '구', '쏟', '몫', '쫌', '✓', '으', '딛', '룰', '놉', '력', '齬', '뒀', '플', '꿩', '확', '졌', 'ㅇ', '㏊', 'ɖ', '넝', '빌', '여', '믹', '삭', '뽕', '뽈', '楂', '킴', '었', '캄', '사', '웠', '청', '뀨', '셈', '말', '넜', '📚', '맬', '삐', '紜', '챔', '🙊', '논', '쥬', '딧', '쁘', '윔', '들', '뛸', '춧', '좋', '풍', '퓰', '뙤', '흽', '튼', '뮈', '끗', '공', '짖', '볼', '웃', '블', '랫', '뚜', '굉', '묵', '꿀', '톰', '객', '떤', '낙', '찾', '코', '셸', '녔', '원', '넥', '뗀', '펫', '셧', '袥', '羱', '심', '즉', 'ㅎ', '앤', '뜬', '냥', '塍', '쿠', '캔', '숲', '핏', '뭐', '댓', '먹', '얻', '엠', '됨', '띄', '뗄', '봇', '듐', '칫', '두', '롱', '능', '측', '崞', '융', '켓', '딩', '효', '㎝', '거', '샘', '변', '립', '맹', '괄', '쿰', '팸', '판', '앞', 'ㄷ', '밖', '켜', '밌', '💋', '맸', '👪', '임', '습', 'Ⓣ', '팽', '뻥', '릭', '높', '성', '짭', '첼', '덫', '슬', '迢', '월', '견', '미', '값', '터', '촉', '근', '옴', '김', '끝', '㎞', '센', '쏴', '呔', '엇', '떡', '뿔', '넛', '승', '섰', '곳', '직', '텅', '륭', '법', '잖', '😲', '겠', '곽', '용', '죠', '닿', '뭍', '🌔', '생', '액', 'ㅁ', '탬', '뉘', '흡', '썽', '쟝', '♬', '낫', '폼', '층', '곬', '😔', '칙', '홀', '얕', '낡', '퇴', '臿', '춤', '꿋', '알', '잎', '략', '맡', '👼', '엔', '뫼', '우', '편', '팥', '였', '蛰', '괘', '鵪', '틴', '뇨', '녕', 'ৌ', '규', '튤', '흘', '👍', '췄', '딪', '郪', '유', '썹', '럼', '워', '선', '그', '씩', '셜', '떠', '캥', '갚', '뭡', '찰', '겁', '샌', '😳', '좁', '뇌', '끊', '계', '렘', '협', '밸', '멜', '안', '배', '솜', '귐', '챗', '셔', '꼼', '앗', '친', '꼽', '삿', '시', '각', '잽', '뎠', '울', '필', '😀', '찬', '쭙', '띤', '솔', '타', '꽹', '축', '밧', '騁', '텨', '완', '봐', '종', '僴', '箚', '발', '딸', '뗐', '깅', '摑', '십', '껄', '큽', '🐼', '욤', '앉', '섯', '놨', '낳', '춥', '굼', '鬢', '독', '첸', '젼', '때', '堈', '錛', 'ɳ', '됩', '테', '죕', '잴', '보', '녁', '뺀', '쯤', '업', '렴', '릿', '懊', '잔', '숫', '웹', '뭉', '컴', '싶', '훌', '흑', '툴', '귓', '닻', '최', '❤', '빚', '겅', '뒹', '벽', '주', '쨋', '읽', '넌', '닮', '싼', '톈', '겨', '쐰', '냅', '듬', '째', '혼', '빻', '꺾', '므', '뚝', '꼭', '琺', '긁', '앵', '웸', '삽', '쥘', '납', '걷', '짰', '넓', '쓸', '걀', '헹', '쾰', '맘', '돋', '콸', '뛰', '걸', '분', 'ㅐ', '챘', '설', '砝', '갯', '룽', '온', '켄', '섭', '쫓', '쌩', '틋', '😂', '열', '퍼', 'ㅅ', '뒤', '채', '맨', '牘', '샵', '헤', '봅', '곯', '잌', '처', '굽', '극', '촨', '렌', '뎅', '폈', '응', '됐', '비', '차', '랭', '닐', '玷', '증', '섞', '컵', '량', '멩', '瓠', '졸', '녜', '빙', '딘', '썩', '눌', '잰', '뤼', '흠', '梃', '겐', '쑹', '남', '坮', '쩡', '묻', '롭', '췌', '겜', '국', '씨', '씽', '즐', '땟', '많', '덴', '氚', '쇼', '韆', '맴', '깬', '횟', '꺼', '렵', '얼', '반', '낀', '감', '榫', '줘', '죄', '얗', '린', '슈', 'ㅍ', '석', '님', '겉', '방', '벤', '☀', '팍', '꽉', '튕', '뻗', '쩔', '힙', '갈', '역', '듯', '邗', '컥', '牴', '돼', '셍', '붉', '흄', '₴', '💎', '젖', '달', '황', '홋', '눅', '퀘', '躓', '낱', '찌', '군', '촬', '😽', '느', '뻘', '눔', '갤', '헛', '입', '혁', '🌕', '엎', '젓', '컷', '몬', '록', '냑', '아', '🐩', '嚨', '애', '릅', '짝', '裋', '짜', '큐', '씌', '덮', '얀', '뜰', '론', '쌍', '앱', '쩝', '눕', '팩', '찹', '혜', '며', '텔', '뮨', '네', '싣', '샷', '곱', '😉', '빨', '헥', '딜', '옹', '흔', '킥', '태', '뿐', '에', '꾀', '껍', '겔', '끄', '퉁', '렇', '㎍', '닌', '샅', '싹', '📌', '륵', '縈', '흐', '짙', '뀜', '명', '핸', '💕', '뻐', '패', '짬', '범', '류', '쿤', '‐', '🌸', '뎌', '될', '뚱', '셰', '쁜', '벼', '밀', '꿈', 'ㅋ', '다', '상', '라', '엽', '鞦', '舀', '닫', '쫘', '운', 'ㄴ', '어', '츌', '긴', '젤', '맥', '캉', '풀', '댔', '읍', '氘', '련', '훗', '쌓', '해', '곰', '뭘', '망', '저', '깨', '건', '당', '뽀', '섹', '활', '샨', '랗', '밴', '릎', '캡', '嫘', '널', '핍', '嘮', '앴', '酆', '🍷', '중', '詼', '책', '엉', '된', 'ㅓ', '켈', '툼', '까', '실', '젭', '랐', '봣', '일', '닷', '초', '콧', '쥐', '렛', '櫾', '핑', '漶', '썸', '광', '넘', '떼', '탐', '곶', '쩜', '적', '쇄', '폴', '맛', '링', '레', '복', '띈', '늄', '텍', '뭔', '닝', '愨', '콥', '꿎', '참', '족', '른', '훑', '읊', '엄', '😃', '섀', '게', '펙', '삯', '맷', '烺', '검', '귀', '텐', '껌', '멧', '잦', '갗', '민', '찻', '긔', '뽁', '겊', '갉', '😭', '션', '츨', '릇', '눴', '깐', '껭', '탔', '닛', '문', '홍', '섣', '낌', '냉', '쉼', '撘', '띨', '🌈', '숟'}

Comments:
Hi @icewing1996,
This comes from the fact that your tokenizer has `do_lower_case=True` but you load an uncased model.

Try loading the tokenizer like this `tok = BertTokenizer.from_pretrained('bert-base-multilingual-uncased', do_lower_case=False)`.

This is actually a common issue and I see Jacob has added [a test](https://github.com/google-research/bert/blob/master/tokenization.py#L28) in the google repo to check the coherence between the lower casing option and the model checkpoint name. I will add a similar test.

I used the Korean wiki corpus with the "do_lower_case = True" option to create pretrain data.
Most of the data is generated as [UNK] token as followings:

INFO:tensorflow:next_sentence_labels: 1
INFO:tensorflow:*** Example ***
INFO:tensorflow:tokens: [CLS] gr ##ace [UNK] [MASK] [UNK] [UNK] [UNK] 2 ᄀ ##ᅢ [UNK] [UNK] [UNK] [UNK] gr ##ace - 1 ᄀ ##ᅪ gr ##ace - 2 ᄀ ##ᅡ ( [UNK] e ##ss ##p - 2 a , e ##ss ##p - 2 [MASK] 유전적 [UNK] 220 km [UNK] ᄀ ##ᅥ ##ᄅ ##ᅵ [UNK] [UNK] ᄆ ##ᅧ [UNK] [UNK] [UNK] ᄆ ##ᅧ [UNK] , [UNK] , [UNK] [UNK] [UNK] ##댜 [MASK] [MASK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] . [UNK] [UNK] [UNK] , n ##as ##a , j ##pl , d ##l ##r [UNK] [UNK] [UNK] [MASK] [MASK] [UNK] [MASK] [MASK] [MASK] [MASK] [MASK] [UNK] j ##pl [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] . 2002 [UNK] 3 [UNK] [UNK] [UNK] ᄀ ##ᅵ ##ᄌ ##ᅵ [UNK] [UNK] [UNK] [UNK] [UNK] 2017 [UNK] 10 [UNK] [MASK] ᄀ ##ᅡ [UNK] [UNK] [UNK] . [UNK] [UNK] [UNK] [UNK] [UNK] 5 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 15 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] ᄇ ##ᅩ ##ᄋ ##ᅵ ##ᄌ ##ᅥ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] . [SEP] [UNK] [MASK] [UNK] 1956 [UNK] [UNK] [UNK] [MASK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] ᄀ ##ᅪ [UNK] [UNK] [UNK] [UNK] [UNK] ᄆ ##ᅩ ##ᄃ ##ᅮ 11 [UNK] [UNK] [UNK] [UNK] [MASK] ##졌 [MASK] [MASK] ᄀ ##ᅩ [UNK] [UNK] . [UNK] [UNK] [UNK] 3 [UNK] · [UNK] [MASK] [MASK] ᄀ ##ᅲ ##ᄆ ##ᅩ ᄅ ##ᅩ [UNK] [UNK] [UNK] [UNK] ᄇ ##ᅩ [UNK] [UNK] [UNK] [UNK] ( 人 ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] . ᄀ ##ᅳ [MASK] [MASK] ᄀ ##ᅪ [UNK] , [MASK] [MASK] [MASK] [UNK] , [UNK] ,  ##ᅢ [UNK] [UNK] 착취 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] [UNK] . [UNK] ( 任 忠 [UNK] , ? - ? ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] [UNK] [UNK] , [UNK] 토지 [UNK] . [UNK] [MASK] [MASK] [MASK] [MASK] [MASK] [MASK] [MASK] [MASK] [MASK] [MASK] [UNK] [UNK] [UNK] [MASK] [MASK] [UNK] . [UNK] [MASK] [MASK] [UNK] [UNK] ) [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] [MASK] [UNK] [UNK] [UNK] [UNK] [UNK] , [UNK] , [MASK] [MASK] [UNK] [UNK] [UNK] [UNK] ᄀ ##ᅩ , [UNK] [UNK] [UNK] [UNK] ( [UNK] 1 [MASK] ) [UNK] [UNK] [UNK] [MASK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] [UNK] [UNK] . [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] 크라이 경성 ##렘 [MASK] [UNK] [UNK] [UNK] [UNK] 12 [UNK] ᄇ ##ᅮ ##ᄐ ##ᅥ [UNK] [UNK] [UNK]  ##ᅡ ##ᄐ ##ᅡ ##ᄂ ##ᅡ [UNK] [UNK] [UNK] [UNK] . [UNK] 1914 [UNK] [UNK] [UNK] ᄀ ##ᅪ [MASK] [MASK] 올리 [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] [MASK] [MASK] [MASK] [UNK] 1 [UNK] ᄇ ##ᅮ ##ᄐ ##ᅥ [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [MASK] [UNK] . [MASK] [MASK] [UNK] ᄀ ##ᅩ ##ᄌ ##ᅵ ##ᄃ ##ᅩ [UNK] [UNK] [MASK] ᄇ ##ᅡ , [UNK] [UNK] [UNK] [UNK] ᄇ ##ᅩ ##ᄃ ##ᅡ [UNK] [UNK] [UNK] [UNK] ᄅ ##ᅩ ᄂ ##ᅡ ##ᄐ ##ᅡ ##ᄂ ##ᅡ [UNK] [UNK] [MASK] . [MASK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] . [UNK] [UNK] [UNK] [UNK] [UNK] [UNK] [SEP]

> I'm using the pre-trained multilingual tokenizer to tokenize some Korean texts, but it seems like this tokenizer is unable to recognize any Korean text at all.
> 
> For example, when running on all the Universal Dependency Korean treebanks, this tokenizer fails to tokenize (it produces '[UNK]') the following characters. I know some of them are not Korean, but most of them are. More confusingly, when I check the `vocab.txt` file for the [BERT-Base, Multilingual Cased](https://storage.googleapis.com/bert_models/2018_11_23/multi_cased_L-12_H-768_A-12.zip) in the original repo (https://github.com/google-research/bert), it shows that Korean characters (I manually checked for '렬') are in the vocabulary.
> 
> This makes me wonder whether there is any bug in the tokenizer provided in this PyTorch repo. I'm considering switching back to the tokenizer in the original code base. Will this create any compatibility issues?
> 
> {'燄', '렬', '툇', '촌', '내', '윙', '쌈', '꿇', '톨', '葚', '솟', '힌', '래', '銎', '凊', '컸', '톤', '', '졍', '의', '슭', '옷', '챠', '囒', '뷘', '멤', '싱', '츠', '령', '겸', '댄', '휙', '醗', '돕', '톳', '던', '페', '띔', '짚', '락', '앙', '왜', '핼', '컫', '쿵', '왠', '기', '냇', '칼', '런', '험', '드', '궐', '얄', '찜', '렝', '빈', '후', '싫', '雎', '덕', '틀', '딴', '굶', '뜸', 'ㅑ', '', '손', '펴', '쏠', '튀', '화', '슘', '대', '왕', '잣', '딨', '듈', '뎀', '鑛', '칭', '젝', '뉴', '', '쑤', '작', '묘', '飮', '새', '쑥', '嘈', '캐', '笳', '랩', '', '히', '맵', '냈', '츰', '꿨', '딤', '밑', '낼', '訇', '뀌', '뻑', '혔', '겝', '얹', '랍', '', '옅', '징', '권', '욱', '탭', '', '흩', '벳', '밈', '굴', '연', '엑', '綉', '숯', '무', '셋', '벌', '텃', '클', '쫑', '덟', '쳬', '멎', '칵', '팅', '뜨', '땄', '㎡', '끽', '뿍', '담', '펭', '쉰', '있', '쏘', '탤', '濞', '치', '옵', '잃', '언', '빽', '짠', '넙', '깆', '콤', '러', '픽', '푸', '회', '낍', '스', '쩨', '진', '풋', '횡', '탑', '솝', '딕', '영', '볐', '씹', '뒷', '퀼', '렸', '별', '옇', '얘', '謔', 'Ↄ', '팎', '긋', '뽐', '현', '켠', '룻', '소', '몇', '쨌', '벨', '쩐', '붐', '트', '떴', '', '줌', '꽤', '밭', '쓴', '매', '쳤', '뱃', '콰', '먕', '봤', '', '베', '첩', '년', '짐', '뻤', '괭', '함', '鍝', '도', '폭', '꾸', '뜩', '괞', '닦', '몹', '', '팰', '콕', '떻', '킬', '강', '찡', '궂', '꿉', '빴', '즈', '데', '껑', '엘', '약', '천', '씻', '', '㈜', '롯', '털', '야', '혈', '펀', '', '', '뺐', '繽', '닙', '쪽', '행', '넉', '휩', '퀀', '쇠', '셑', '댑', '얽', '질', '뻬', '', '덥', '骯', '뀔', '룩', '팀', '愙', '괜', '몽', '냐', '씬', '서', '또', '썬', '절', '갱', 'ㅊ', '왼', '펠', '놈', '쯩', '름', '토', '받', '璣', '咧', '츄', '깃', '헬', '잇', '덜', '곡', '것', '겹', '지', '檣', '억', '셀', '픔', '륙', '돈', 'ㅜ', '믈', '멈', '빗', '을', '둘', '탱', '얇', '식', '', '틱', '똑', '줄', '궤', '잼', '착', '廝', '枸', '볏', '샴', '疙', '飈', '', '댁', '날', '킵', '동', '룸', '', '헐', '부', '웬', '램', '윗', '숍', '齲', '빼', '빡', '혐', '뮌', '너', '란', '땠', '개', '이', '끔', '麩', '표', '훈', '간', '바', '옆', '틸', '탄', '살', 'ʈ', '꽂', '벙', '뱅', '닭', '멀', '줍', '✌', '짊', '葯', '쨍', '쥔', '않', '술', '육', '햇', '텁', '뵈', '쿄', '', '웅', '막', '낮', '브', '펼', '색', '갰', '께', '음', '쐬', '숱', '빛', '텝', '젠', '준', '키', '왓', '팝', '순', '떳', '번', '팡', '핫', '팬', '畹', '깍', '슷', '겋', '위', '꺽', '껀', '낸', '숴', '잠', '휴', '訐', '貮', '티', '늪', '깔', '涮', '촐', '좀', '쭐', '턴', '같', '먼', '꾹', '쎌', '충', '땅', '희', '敉', '캠', '넋', '맑', '갇', '凈', '를', '쌌', '잿', '똥', '핵', '올', '윈', '접', '뮤', '귤', '갖', '촘', '웍', '속', '댕', '砒', '謇', '郫', '낄', '죽', '가', '깁', '뷸', '는', '쏜', '뉜', '릉', '쓰', '텼', '환', '皰', '띠', '즙', '자', '톱', '봄', '갠', '쉽', '항', '답', '넣', '옐', '머', '빔', '쬐', '듄', '썰', '로', '칩', '마', '뽂', '숀', '침', '찍', '캘', '노', '뼈', '', '놔', '특', '곁', '챙', '밥', '형', '팠', '섬', '焗', '닉', '관', '쉐', '잡', '슐', '뗏', '획', '추', '욘', '꾼', '좌', '쫀', '나', '킹', '뼛', '은', '랴', '깻', '눈', '욕', '하', '', '찢', '젊', '궁', '총', '놋', '둬', '뮬', '詝', '낭', '얌', '셨', '첫', '柢', '셉', '', '닥', '결', '겪', '', '⅛', '뾰', '뢰', '륨', '좇', '꼐', '옌', '둔', '', '금', '평', '면', '癤', '암', '허', '뱉', '銠', '꿔', '✔', '멘', '겟', '싯', '씁', '림', '볕', '넨', '휠', '☝', '仚', '쟈', '덤', '벅', '즘', '숙', '철', 'ㄹ', '재', '낚', '쉬', '롬', '휘', '렀', '荑', '득', '옮', '렙', '신', '랏', '헉', '푼', '났', '퐁', '쌥', '볶', '밝', '샀', '뽑', '춘', '앓', '곧', '찮', '믿', '늙', '녘', '쌤', '예', '밍', '요', '엣', '딱', '못', '뺨', '렉', '모', '쟁', '퍽', '鬪', '팜', 'ɟ', '틈', '체', '벚', '뛴', '훅', '윤', '짤', '샐', '궈', '댐', '룡', '덧', '깊', '賬', '택', '넬', '흰', '髖', '쁠', '투', '만', '창', '묽', '썼', '', '셩', '僊', '수', '豢', '癥', '삼', '춰', '렁', '퀴', '슛', '쌉', '', '묶', '정', '탓', '얏', '', '버', '쯔', '밉', '챈', '♩', '리', '떨', '료', '했', '잘', '뤄', '붕', '쩌', '탁', '혀', '繙', '껴', '박', '᾽', '뜀', '홉', '팔', '컨', '饃', '釩', '웰', '꼿', '薺', '縕', '깜', '케', '세', '鎰', '褂', '슌', '벵', '꼈', '카', '甍', '檨', '寗', '빵', '찔', '엊', '오', '통', '', '꽝', '니', '첨', '맺', '랑', '헙', '믄', '더', '쳐', '🏼', '옳', '쁨', '鈇', '취', '玕', '럽', '푹', '눠', '제', '디', '벡', '메', '걔', '訄', '滹', '眈', '☎', '물', '갓', '없', '', '송', '뭇', '멸', '빅', '늉', '난', '휼', '흙', '깥', '옥', '쫙', '례', '폰', '맏', '되', '훨', '헝', '짧', '쪼', '▶', '끓', '톡', '흥', '홈', '및', '콘', '빠', '등', '르', '깝', '밟', '펑', '끼', '잭', '와', '넷', '율', '찼', '酃', '균', '뿜', '악', '튈', '률', '', '걱', '과', '퀄', '튜', '끈', '늑', '렐', '쫄', '멋', '―', '탈', '憮', '잉', '醺', '粦', '맣', '큘', '曧', '쿼', '파', '둡', '탕', '抔', '솥', '척', '고', '', '숭', '람', '벗', '잤', 'ௌ', '옻', '叨', '듀', '늘', '염', '늦', '돌', '껏', '귄', '', '봉', '움', '뭄', '낯', '템', '멍', '랜', '', '헌', '샹', '압', '몰', '㎢', '큼', '윽', '', '퀵', '덩', '잊', '眯', '피', '학', '넴', '갬', '녹', '출', '꼴', '', '퍈', '쎄', '굳', '외', '붓', '犂', '슴', '늬', '글', '룬', '탠', '듣', '엿', '칸', '뿌', '갸', '냄', '깡', '괴', '든', '불', '툰', '甪', '箬', '빳', '한', '晳', '킷', '쭉', '둑', '꿍', '쭈', '맙', '鷄', '뜯', '폄', '酩', '퓨', '조', '롤', '프', '뻔', '교', '쿨', '펜', '닯', '', '크', '뀐', '紈', '집', '땡', '놓', '훔', '즌', '헨', '녀', '켤', '따', '', '포', '땐', '랙', '콩', '합', '농', '', '전', '엥', '텄', '', '긍', '', '뮐', '슝', '꽃', '븐', '', '岦', '빤', '찐', '☺', '둥', '랬', '뚤', '깽', '뺏', '목', '슨', '웨', '굵', '칠', '뜻', '려', '산', '끕', '커', '튿', '단', '쌀', '햄', '牾', '켰', '륜', '밤', '골', '익', '흉', '뷔', '랄', '뱀', '숨', '돔', '붙', '찧', '둠', '갔', '럿', '져', 'ʂ', '할', '존', '챌', '늠', '픈', '뷰', '댈', '갑', '컹', '쪄', '맜', '騏', '칡', '餮', '앎', '누', '굿', '幪', '멕', '백', '곤', '싸', '꼬', '헷', '펄', '럴', '饕', '뚫', '芘', 'ᆢ', '젯', '릴', '북', '', '룹', '핀', '옛', '병', '낟', '품', '짱', '겼', '쉴', '앳', '닳', '쾌', '힐', '경', '짓', '델', '酊', '턱', '끌', '횃', '호', '씀', '켯', '‒', '컬', '밋', '인', '향', '렷', '蚺', '몸', '❄', '놀', '탯', '쏭', '왈', '점', '팟', '', '써', '념', '뒬', '혹', '폐', '격', '앨', '본', '듭', '엷', '헴', '루', '콜', '묏', '', '큰', '샛', '았', '돗', '퓌', '장', '깎', '훼', '엾', '맞', '윌', '윷', '졔', '꿰', '쩍', '양', '킨', '', '줬', '왔', '볍', '엌', '샤', '￡', '삶', '힘', '꽁', '길', '급', '럭', '엮', '瘩', '땀', '구', '쏟', '몫', '쫌', '✓', '으', '딛', '룰', '놉', '력', '齬', '뒀', '플', '꿩', '확', '졌', 'ㅇ', '㏊', 'ɖ', '넝', '빌', '여', '믹', '삭', '뽕', '뽈', '楂', '킴', '었', '캄', '사', '웠', '청', '뀨', '셈', '말', '넜', '', '맬', '삐', '紜', '챔', '', '논', '쥬', '딧', '쁘', '윔', '들', '뛸', '춧', '좋', '풍', '퓰', '뙤', '흽', '튼', '뮈', '끗', '공', '짖', '볼', '웃', '블', '랫', '뚜', '굉', '묵', '꿀', '톰', '객', '떤', '낙', '찾', '코', '셸', '녔', '원', '넥', '뗀', '펫', '셧', '袥', '羱', '심', '즉', 'ㅎ', '앤', '뜬', '냥', '塍', '쿠', '캔', '숲', '핏', '뭐', '댓', '먹', '얻', '엠', '됨', '띄', '뗄', '봇', '듐', '칫', '두', '롱', '능', '측', '崞', '융', '켓', '딩', '효', '㎝', '거', '샘', '변', '립', '맹', '괄', '쿰', '팸', '판', '앞', 'ㄷ', '밖', '켜', '밌', '', '맸', '', '임', '습', 'Ⓣ', '팽', '뻥', '릭', '높', '성', '짭', '첼', '덫', '슬', '迢', '월', '견', '미', '값', '터', '촉', '근', '옴', '김', '끝', '㎞', '센', '쏴', '呔', '엇', '떡', '뿔', '넛', '승', '섰', '곳', '직', '텅', '륭', '법', '잖', '', '겠', '곽', '용', '죠', '닿', '뭍', '', '생', '액', 'ㅁ', '탬', '뉘', '흡', '썽', '쟝', '♬', '낫', '폼', '층', '곬', '', '칙', '홀', '얕', '낡', '퇴', '臿', '춤', '꿋', '알', '잎', '략', '맡', '', '엔', '뫼', '우', '편', '팥', '였', '蛰', '괘', '鵪', '틴', '뇨', '녕', 'ৌ', '규', '튤', '흘', '', '췄', '딪', '郪', '유', '썹', '럼', '워', '선', '그', '씩', '셜', '떠', '캥', '갚', '뭡', '찰', '겁', '샌', '', '좁', '뇌', '끊', '계', '렘', '협', '밸', '멜', '안', '배', '솜', '귐', '챗', '셔', '꼼', '앗', '친', '꼽', '삿', '시', '각', '잽', '뎠', '울', '필', '', '찬', '쭙', '띤', '솔', '타', '꽹', '축', '밧', '騁', '텨', '완', '봐', '종', '僴', '箚', '발', '딸', '뗐', '깅', '摑', '십', '껄', '큽', '', '욤', '앉', '섯', '놨', '낳', '춥', '굼', '鬢', '독', '첸', '젼', '때', '堈', '錛', 'ɳ', '됩', '테', '죕', '잴', '보', '녁', '뺀', '쯤', '업', '렴', '릿', '懊', '잔', '숫', '웹', '뭉', '컴', '싶', '훌', '흑', '툴', '귓', '닻', '최', '❤', '빚', '겅', '뒹', '벽', '주', '쨋', '읽', '넌', '닮', '싼', '톈', '겨', '쐰', '냅', '듬', '째', '혼', '빻', '꺾', '므', '뚝', '꼭', '琺', '긁', '앵', '웸', '삽', '쥘', '납', '걷', '짰', '넓', '쓸', '걀', '헹', '쾰', '맘', '돋', '콸', '뛰', '걸', '분', 'ㅐ', '챘', '설', '砝', '갯', '룽', '온', '켄', '섭', '쫓', '쌩', '틋', '', '열', '퍼', 'ㅅ', '뒤', '채', '맨', '牘', '샵', '헤', '봅', '곯', '잌', '처', '굽', '극', '촨', '렌', '뎅', '폈', '응', '됐', '비', '차', '랭', '닐', '玷', '증', '섞', '컵', '량', '멩', '瓠', '졸', '녜', '빙', '딘', '썩', '눌', '잰', '뤼', '흠', '梃', '겐', '쑹', '남', '坮', '쩡', '묻', '롭', '췌', '겜', '국', '씨', '씽', '즐', '땟', '많', '덴', '氚', '쇼', '韆', '맴', '깬', '횟', '꺼', '렵', '얼', '반', '낀', '감', '榫', '줘', '죄', '얗', '린', '슈', 'ㅍ', '석', '님', '겉', '방', '벤', '☀', '팍', '꽉', '튕', '뻗', '쩔', '힙', '갈', '역', '듯', '邗', '컥', '牴', '돼', '셍', '붉', '흄', '₴', '', '젖', '달', '황', '홋', '눅', '퀘', '躓', '낱', '찌', '군', '촬', '', '느', '뻘', '눔', '갤', '헛', '입', '혁', '', '엎', '젓', '컷', '몬', '록', '냑', '아', '', '嚨', '애', '릅', '짝', '裋', '짜', '큐', '씌', '덮', '얀', '뜰', '론', '쌍', '앱', '쩝', '눕', '팩', '찹', '혜', '며', '텔', '뮨', '네', '싣', '샷', '곱', '', '빨', '헥', '딜', '옹', '흔', '킥', '태', '뿐', '에', '꾀', '껍', '겔', '끄', '퉁', '렇', '㎍', '닌', '샅', '싹', '', '륵', '縈', '흐', '짙', '뀜', '명', '핸', '', '뻐', '패', '짬', '범', '류', '쿤', '‐', '', '뎌', '될', '뚱', '셰', '쁜', '벼', '밀', '꿈', 'ㅋ', '다', '상', '라', '엽', '鞦', '舀', '닫', '쫘', '운', 'ㄴ', '어', '츌', '긴', '젤', '맥', '캉', '풀', '댔', '읍', '氘', '련', '훗', '쌓', '해', '곰', '뭘', '망', '저', '깨', '건', '당', '뽀', '섹', '활', '샨', '랗', '밴', '릎', '캡', '嫘', '널', '핍', '嘮', '앴', '酆', '', '중', '詼', '책', '엉', '된', 'ㅓ', '켈', '툼', '까', '실', '젭', '랐', '봣', '일', '닷', '초', '콧', '쥐', '렛', '櫾', '핑', '漶', '썸', '광', '넘', '떼', '탐', '곶', '쩜', '적', '쇄', '폴', '맛', '링', '레', '복', '띈', '늄', '텍', '뭔', '닝', '愨', '콥', '꿎', '참', '족', '른', '훑', '읊', '엄', '', '섀', '게', '펙', '삯', '맷', '烺', '검', '귀', '텐', '껌', '멧', '잦', '갗', '민', '찻', '긔', '뽁', '겊', '갉', '', '션', '츨', '릇', '눴', '깐', '껭', '탔', '닛', '문', '홍', '섣', '낌', '냉', '쉼', '撘', '띨', '', '숟'}

Could you resolve your problem? I have the same problem with 'bert-base-multilingual-cased' on Korean corpus.