МАШИНАЛЫҚ ОҚЫТУ АЛГОРИТМДЕРІНІҢ КӨМЕГІМЕН ҚАЗАҚ ТІЛІНДЕГІ МӘТІННЕН ТҮЙІН СӨЗДЕРДІ АЛЫП АЛУ
Authors: Abibullayeva A.A. , Kazbekova G.N. , Zhunissov N.M. 
Published: May 2024

Browsing information on the internet in daily life has become a common activity for computer users. Since thousands of Internet news are published on the Internet everyday, it is difficult to effectively retrieve and summarize the relevant documents. Therefore, the keyword or keyphrase extraction technique is used to provide the main content of a particular web page. Due to such needs, the use of keywords allows the reader to access the sought-after information easily and quickly. In this article, Random Forest and XgBoost (Extreme Gradient Boosting) algorithms, which are machine learning algorithms, were testedThe results were obtained on the 500N-KPCrowd dataset, which consists of English-language news content widely used in the literature, and compared with the results obtained from the Kazakh language datasets.For the Kazakh data set, the highest result in the literature was achieved with the best F1score of 0.97.For the 500N-KPCrowd data set, the best F1score of 0.70 was obtained.

Күнделікті өмірде интернеттегі ақпаратты шолу компьютер пайдаланушылары үшін әдеттегі әрекетке айналды. Интернетте күн сайын мыңдаған интернет жаңалықтары жарияланатындықтан, тиісті құжаттарды тиімді түрде алу және қорытындылау қиын. Сондықтан белгілі бір веб-беттің негізгі мазмұнын қамтамасыз ету үшін кілт сөзді немесе түйінді фразаны алу әдісі қолданылады. Осындай қажеттіліктерге байланысты түйінді сөздерді қолдану оқырманға қажетті ақпаратқа оңай және жылдам қол жеткізуге мүмкіндік береді. Бұл мақалада машиналық оқыту алгоритмдері болып табылатын Кездейсоқ орман және Градиентті күшейту алгоритмдері тексерілді. Нәтижелер әдебиетте кеңінен қолданылатын ағылшын тіліндегі жаңалықтар мазмұнынан тұратын 500N-KPCrowd деректер жинағында алынды және қазақ тіліндегі деректер жинақтарынан алынған нәтижелермен салыстырылды. Қазақ деректер жинағы үшін әдебиеттегі ең жоғары нәтиже 0,97 ең жақсы F1ұпайымен қол жеткізілді. 500N-KPCrowd деректер жинағы үшін 0,70 ең жақсы F1ұпайы алынды.

Просмотр информации в Интернете в повседневной жизни стал обычным занятием для пользователей компьютеров. Поскольку каждый день в Интернете публикуются тысячи интернет-новостей, эффективно найти и обобщить соответствующие документы сложно. Таким образом, метод извлечения ключевых слов или ключевых фраз используется для предоставления основного содержимого конкретной веб-страницы. В связи с такими потребностями использование ключевых слов позволяет читателю легко и быстро получить доступ к необходимой информации. В этой статье были протестированы алгоритмы Случайног лесаи Экстремального повышения градиента, являющиеся алгоритмами машинного обучения. Результаты были получены на наборе данных 500N-KPCrowd, который состоит из новостного контента на английском языке, широко используемом в литературе, и сравнивались с результатами, полученными на наборах данных на казахском языке.Для казахстанского набора данных самый высокий результат в литературе был достигнут с лучшим показателем F1равным 0,97. Для набора данных500N-KPCrowdбыл получен лучший показатель F1равный0,70.