pipeline_tag: text-classification
language:
- uz
- en
- ru
license: apache-2.0
metrics:
- accuracy
language identifier. Tabiiy tilni qayta ishlash (NLP) sohasida tilni aniqlash vazifasi ma'lum matn yoki hujjat tilini aniqlashni o'z ichiga oladi, ammo ko'plab tillarni aniqlash qobiliyati qiyinlashadi. Ushbu model matndan 21 tilni tanib oladi, xususan, oʻzbek tilida qoʻllaniladigan lotin-kirill yozuviga eʼtibor qaratadi. Bu boradagi tadqiqotlar kamligini hisobga olib, mos transformator arxitekturasiga asoslangan oʻzbek lotin-kirill yozuvini aniqlik darajasi yuqori boʻlgan tilni aniqlash modelini taqdim etamiz. Modelimiz biz yaratgan o‘zbek tili korpusidan foydalangan holda baholandi, bu ham kelajakda o‘zbek tilini aniqlash vazifalarini baholash uchun qimmatli manba bo‘lib xizmat qilishi mumkin. Ushbu model 21 ta tilni, jumladan, ikkita alifboda (lotin va kirill) ifodalangan o‘zbek tilini qamrab oladi.