GitHub repository: yusufozdil/tokenizer
Primary language: Jupyter Notebook
Description: Dilbilim kurallarını temel alarak çok dilli metinleri işlemek ve anlam bütünlüğünü korumak için gelişmiş bir tokenizer altyapısı geliştirme.