Turli ma'lumotlar to'plamini sinab ko'ring va taqqoslang

4.4 Turli ma'lumotlar to'plamini sinab ko'ring va taqqoslang
4.5 Modelni sozlash
Machine Translated by Google
har qanday zamonaviy veb-brauzer tomonidan ko'riladi.
natijalarini ko'rsatish. UI matn kiritish uchun matn qutisidan, tanlash uchun ochiladigan menyudan iborat edi
ilova veb-serverda joylashtirilgan va bo'lishi mumkin bo'lgan ushbu loyihaning yakuniy mahsuloti edi
chunki modellar Pythonda amalga oshirilgan. Buning uchun bootstrap front-end UI ishlatilgan
natija oldingi qismga qaytariladi. Front-end orqa tomon tomonidan yuborilgan natijani ko'rsatdi. Bu
UI POST AJAX qilish orqali tanlangan variantlarni yuboradigan umumlashtirish tugmasini o'z ichiga oladi
batafsil ma'lumot uchun 5.5-bo'limga qarang). Ilova asosan Python flask kutubxonasida qurilgan
30
backend uchun so'rov. Backend server matnni oldindan tayyorlangan modelda ishga tushiradi va yuboradi
uchta ma'lumotlar to'plamining har biri uchun kerakli modellar va natijalarni ko'rsatish uchun chiqish qutisi. The
Model tugallangandan va sinovdan o'tkazilgandan so'ng, veb-ilova yaratildi (uchun
4.6 Bitta-to-end ilovasini yarating
Machine Translated by Google
5.0 Natijalar
11-rasm: Xom eritma matniga misol
5.1 Ma'lumotlarni tozalash va toifalarga ajratish
mavhum model asosida qurilgan uchdan-end dasturni taqdim etadi. Baholash bilan
tegi,
kabi koÿplab HTML teglari, “ ” kabi nomaÿlum soÿzlar va
Kod parchalarini, noma'lum so'zlarni, inglizcha bo'lmagan so'zlarni olib tashlash orqali ma'lumotlar to'plamlarimizni tozalagandan so'ng
keraksiz havolalar.
ROUGE-1 va BLEU funktsiyalari, metodologiyaning 4.4-bo'limida tavsiflanganidek, biz baholadik va
maqolalar va juda qisqa maqolalar, biz o'zimiz kabi ko'proq odam o'qiy oladigan va tozaroq jumlalarni oldik
31
modellarimiz ish faoliyatini solishtirdik va modelimiz uchrashishdagi muvaffaqiyat darajasini o‘lchadi
Ushbu bo'limda biz ma'lumotlarni tozalash (5.1-bo'lim), ekstraktiv natijasida olingan natijalarni ko'rsatadi
modellar (5.2-bo'lim) va mavhum modellar (5.3-bo'lim va 5.4-bo'lim). Keyin, 5.5-bo'lim
bizning maqsadlarimiz.
modelning kiritilishi. 11-rasmda matndan keyin kod qismini o'z ichiga olgan dastlabki yechim matnidan biri ko'rsatilgan
Machine Translated by Google
13-rasmda ko'rsatilganidek, ma'lumotlarni turkumlash uchun biz eng keng tarqalganlar ro'yxatini oldik
32
"FIREWALL" va "NETSCREEN". E'tibor bering, Juniper mahsulot seriyasining ba'zi toifalari nomlari
barcha KB ma'lumotlar to'plami toifalari orasidagi pastki qatorlar. Davralangan toifalar toifalarga misoldir
"SSG", "QFX" va "WXC" kabi algoritmlar ham qo'lga kiritildi.
Chiqarilgandan so'ng
12-rasmda tozalashdan keyin 11-rasmdagi eritma matni ko'rsatilgan. Barcha kod qismlari,
ota-ona darajasidagi toifa nomlari. Masalan, “CUSTOMER_CARE” ota-ona toifasi edi
noma'lum so'zlar va teglar o'chiriladi.
toifalar, eng yaxshi 30 ta asosiy toifalar tanlab olindi va ierarxiya xaritasi tuzildi.
“CUSTOMER_CARE_1” bolalar toifasi esa ro‘yxatga kiritilmagan. ga qo'lda qarash orqali
Ro'yxatda biz toifa nomlarining aksariyati munosib ekanligini aniqladik, masalan, "HARDWARE",
12-rasm: Tozalangan eritma matniga misol
13-rasm: KB toifalari orasida eng uzun umumiy pastki qatorlar ro'yxati
Machine Translated by Google
|