GitHub repository: malibayram/tokenizer
Primary language: Jupyter Notebook
Created: 2024-11-29T11:33:55Z
Description: Dilbilim kurallarını temel alarak çok dilli metinleri işlemek ve anlam bütünlüğünü korumak için gelişmiş bir tokenizer altyapısı geliştirme.