IDENTIFICATION OFFENSIVE COMMENTS BY USING BIDIRECTIONAL LONG-SHORT-TERM MEMORY
Authors: Омаров Б.С. , Тоқтарова А.Б. , Ажибекова Ж.Ж. , Рахимбаева Г.С. , Бейсенова Г.И. 
Published: July 2024

Онлайн контенттегі ғадауат тілді сөздерді анықтау бүгінгі цифрлық дәуірде мазмұнды модерациялаудың тиімді жүйелерін дамытуға мүмкіндік беретін маңызды міндет болып табылады. Дегенмен, дайын бейәдеп тілден құралған мәліметтер қоры аз тілдерде оларды анықтау біршама қиындықтартудыратынын байқауға болады. Бұл зерттеу жұмысында ғадауат тілді сөздерді анықтау бойынша мәліметтер ресурсы төмен тіл ретінде қазақ тілді контекстерді шешуге бағытталады. Ұсынылғантапсырманы шешу үшін біз табиғи тілді өңдеу алгоритмдерінде жоғары нәтиже көрсеткен екі бағытты ұзақ -қысқа мерзімді жады (BiLSTM) желілеріне негізделген жаңа тәсілді ұсынамыз. BiLSTM архитектурасының екі жақты сипатын пайдалана отырып, біз бейәдеп тілдің дәлірек сәйкестендірілуін қамтамасыз ететін кіріс мәтініндегі контекстік және ұзақ мерзімдітәуелділіктерді аламыз. Біз ұсынып отырған әдісте сонымен қатар трансферлі оқыту әдістерін ресустары аз тілдердің деректердің жетіспеушілігін азайту үшін де қолдануға болады. Қазақ тілінің ғадауат тілді сөздер деректер жинағымен бірқатар эксперимент жүргізу арқылы біз ресурсы төмен қазақ тіліндегі ғадауат тілді сөздерді анықтауда соңғы нәтижелерге қол жеткізе отырып, ұсынылған әдісіміздің тиімділігін көрсетеміз. Сонымен қатар, біз әртүрлі үлгі конфигурацияларының және оқыту стратегияларының біздің әдістежұмыс істеу тиімділігін талдаймыз. Біздің зерттеуіміздің нәтижелері ресурсы аз тілдердегі ғадауаттілді сөздерді анықтау әдістері туралы мәліметтер ұсына алады және нақты тілдік контексттерге бейімделген мазмұнды модерациялау жүйелеріне жол ашады.

Выявление ненормативной лексики является важнейшей задачей в нынешнюю цифровую эпоху, что позволяет создавать эффективные системы модерации контента. Тем не менее, это создает проблемы в языках с ограниченными ресурсами, где доступны небольшие количества аннотированных данных. Эта исследовательская работа пытается решить проблему определения оскорбительного языка на малоресурсном, казахском языке. Мы предлагаем новый подход, основанный на сетях двунаправленной долговременной кратковременной памяти (BiLSTM), который продемонстрировал высокую эффективность в задачах обработки естественного языка, где этот подход решает эту проблему. Мы можем более точно идентифицировать оскорбительный язык во входном тексте, фиксируя как долгосрочные, так и контекстные зависимости, используя двунаправленный характер архитектуры BiLSTM. Чтобы уменьшить нехватку аннотированных данных при ограниченных ресурсах, наш метод также использует методы трансферного обучения. После проведения обширных экспериментов с набором данных оскорбительных языков в казахском языке мы демонстрируем эффективность предложенного нами метода. Эти эксперименты показывают самые современные результаты в определении оскорбительных языков в низкоресурсном казахском языке. Кроме того, мы рассматриваем, как различные конфигурации модели и методы обучения влияют на эффективность нашего метода. Наше исследование дает полезную информацию о способах обнаружения оскорбительного языка в языках с низким уровнем ресурсов. Кроме того, они прокладывают путь к более надежным системам модерации контента, которые подходят для определенных языковых контекстов.

The detection of profanity is a critical task in the current digital age, which allows you to create effective content moderation systems. However, this creates problems in resource-constrained languages where small amounts of annotated data are available. This research work attempts to solve the problem of defining offensive language in a low-resource language, Kazakh. We propose a new approach based on Bidirectional Long Short Term Memory (BiLSTM) networks, high performance in natural language processing tasks, this approach solves this problem.We can more accurately identify the offending language in the input text by capturing both long term and context dependencies using the bidirectional nature of the BiLSTM architecture. To reduce the shortage of annotated data with limited resources, our method also uses transfer learning methods. After conducting extensive experiments with a data set of offensive languages in the Kazakh language, we demonstrate the effectiveness of our proposed method. These experiments show the most up-to-date results in identifying offensive languages in low-resource Kazakh.In addition, we consider how different model configurations and training methods affect the performance of our method. Our research provides useful information on how offensive language detected in low-resource languages. In addition, they pave the way for more robust content moderation systems that are appropriate for certain language contexts.