Um die lexikalische Abdeckung von Large Language Models (LLMs) in extrem niedrig-ressourcierten Sprachen zu verbessern, können verschiedene Strategien angewendet werden. Im Kontext des gegebenen Forschungsberichts über die Anpassung von LLMs an unbekannte Sprachen wie Zhuang können folgende Ansätze hilfreich sein:
Fuzzy Matching: Aufgrund von morphologischen Transformationen können Wörter in einem Satz möglicherweise nicht direkt im Wörterbuch gefunden werden. Durch die Anwendung von String-Matching-Algorithmen wie Vorwärts-/Rückwärts-Maximalübereinstimmung können potenziell relevante Einträge im Wörterbuch schnell gefunden werden.
Bilinguale Lexikoninduktion: Selbst ein kleiner Parallelkorpus kann Wörter enthalten, die nicht im Wörterbuch enthalten sind. Traditionelle statistische Methoden wie GIZA++ können effizient bilinguale Lexika aus dem Korpus extrahieren, um das Wörterbuch zu ergänzen.
Synonyme Erweiterung: Bei der Übersetzung eines Wortes aus einer hochsprachigen Sprache ist es nicht immer möglich, eine direkte Übersetzung im Wörterbuch zu finden. Das Wörterbuch kann jedoch Einträge für Synonyme des Wortes enthalten. Durch die Erweiterung des Wörterbuchs um eine Liste von Synonymen kann die lexikalische Abdeckung verbessert werden.
Diese Strategien tragen dazu bei, die lexikalische Abdeckung zu erhöhen, indem sie den LLMs mehr Informationen über die Wörter im Satz zur Verfügung stellen, insbesondere in extrem niedrig-ressourcierten Sprachen, in denen die verfügbaren Ressourcen begrenzt sind.