DebertaTokenizerFast from microsoft/deberta-base returns strange offset_mapping for Ġ prefixed token
Author: sgrachov
Pull request: no

## Environment info
- `transformers` version: 4.12.3
- Platform: Linux-5.14.17-301.fc35.x86_64-x86_64-with-debian-buster-sid
- Python version: 3.7.10
- PyTorch version (GPU?): 1.9.0 (False)
- Tensorflow version (GPU?): not installed (NA)
- Flax version (CPU?/GPU?/TPU?): not installed (NA)
- Jax version: not installed
- JaxLib version: not installed
- Using GPU in script?: No
- Using distributed or parallel set-up in script?: No


### Who can help
@sgugger 
@LysandreJik 

Model I am using: deberta-base (vs roberta-base)

The problem arises when using:
* [x] my own modified scripts: (see code in steps)

The tasks I am working on is:
* [x] my own task or dataset: (see code in steps)

## To reproduce

Steps to reproduce the behavior:

Default fast tokenizer for deberta returns supposedly incorrect ...(6, 10), (10, 13)... offsets mapping for Ġ prefixed token (thus making it "<whitespace>AG"), instead of expected ...(6, 10), (11, 13)... when compared with correct results (it's "AG") from fast roberta tokenizer. I assume that when initialized via AutoTokenizer with default parameters they are expected to return the same results without extra space.

`
>>> import transformers
>>> transformers.__version__
'4.12.3'
>>> import tokenizers
>>> tokenizers.__version__
'0.10.3'

>>> from transformers import AutoTokenizer
>>> text="EMPLOYMENT AGREEMENT"
>>> dtsmall=AutoTokenizer.from_pretrained("microsoft/deberta-base", use_fast=True)
Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 52.0/52.0 [00:00<00:00, 88.8kB/s]
Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 474/474 [00:00<00:00, 730kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 878k/878k [00:01<00:00, 803kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 446k/446k [00:00<00:00, 606kB/s]
>>> print(dtsmall)
PreTrainedTokenizerFast(name_or_path='microsoft/deberta-base', vocab_size=50265, model_max_len=512, is_fast=True, padding_side='right', special_tokens={'bos_token': AddedToken("[CLS]", rstrip=False, lstrip=False, single_word=False, normalized=True), 'eos_token': AddedToken("[SEP]", rstrip=False, lstrip=False, single_word=False, normalized=True), 'unk_token': AddedToken("[UNK]", rstrip=False, lstrip=False, single_word=False, normalized=True), 'sep_token': AddedToken("[SEP]", rstrip=False, lstrip=False, single_word=False, normalized=True), 'pad_token': AddedToken("[PAD]", rstrip=False, lstrip=False, single_word=False, normalized=True), 'cls_token': AddedToken("[CLS]", rstrip=False, lstrip=False, single_word=False, normalized=True), 'mask_token': AddedToken("[MASK]", rstrip=False, lstrip=True, single_word=False, normalized=True)})
>>> dtsmall(text, return_offsets_mapping=True)
{'input_ids': [1, 5330, 7205, 20664, 12613, 5680, 4629, 20944, 2], 'token_type_ids': [0, 0, 0, 0, 0, 0, 0, 0, 0], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1], 'offset_mapping': [(0, 0), (0, 2), (2, 4), (4, 6), (6, 10), (10, 13), (13, 15), (15, 20), (0, 0)]}
>>> dtsmall.convert_ids_to_tokens(at(text)["input_ids"])
['[CLS]', 'EM', 'PL', 'OY', 'MENT', 'ĠAG', 'RE', 'EMENT', '[SEP]']

>>> dtroberta=AutoTokenizer.from_pretrained("roberta-base", use_fast=True)
Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 481/481 [00:00<00:00, 188kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 878k/878k [00:01<00:00, 714kB/s]
Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 446k/446k [00:00<00:00, 668kB/s]
Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.29M/1.29M [00:02<00:00, 662kB/s]
>>> print(dtroberta)
PreTrainedTokenizerFast(name_or_path='roberta-base', vocab_size=50265, model_max_len=512, is_fast=True, padding_side='right', special_tokens={'bos_token': '
', 'eos_token': '
', 'unk_token': '<unk>', 'sep_token': '
', 'pad_token': '<pad>', 'cls_token': '
', 'mask_token': AddedToken("<mask>", rstrip=False, lstrip=True, single_word=False, normalized=False)})
>>> dtroberta(text, return_offsets_mapping=True)
{'input_ids': [0, 5330, 7205, 20664, 12613, 5680, 4629, 20944, 2], 'attention_mask': [1, 1, 1, 1, 1, 1, 1, 1, 1], 'offset_mapping': [(0, 0), (0, 2), (2, 4), (4, 6), (6, 10), (11, 13), (13, 15), (15, 20), (0, 0)]}
>>> dtroberta.convert_ids_to_tokens(at(text)["input_ids"])
['<pad>', 'EM', 'PL', 'OY', 'MENT', 'ĠAG', 'RE', 'EMENT', '
']
`

Comments:
This issue has been automatically marked as stale because it has not had recent activity. If you think this still needs to be addressed please comment on this thread.

Please note that issues that do not follow the [contributing guidelines](https://github.com/huggingface/transformers/blob/master/CONTRIBUTING.md) are likely to be ignored.