大規模言語モデルを用いたタグ付けによるデータの品質向上

データ分析における結果の質を向上させるためには、入力データの質を担保することが重要である。本研究では、データの品質を向上させる目的で、各データ項目にタグを付けることを考える。タグ付けを行うことにより、複数のデータを横断的に扱うデータ分析が容易になり、情報検索の高速化に貢献する。従来手法では、何らかの外部ソースから関連データを抽出し、入力データと結合することで情報拡張が行われていたが、すべてのデータで望ましい外部データを得られるとは限らない。一方で、昨今の大規模言語モデル(LLM)の進展により、関連データが存在しなくても、LLMが含む知識を基に教師なしでデータの特性を予測することが可能になっている。本論文では、LLMを用いたタグ付けシステムGA-Tag(GeneratedandAggregatedTag)を紹介する。プロンプトエンジニアリングによりLLMを活用して一つのデータ項目にタグを付与することは可能であるが、大量のデータ項目にタグを付ける際には、後段のデータ処理を考慮し、管理しやすい形式に整理する必要がある。GA-Tagでは、LLMによってタグを生成(generated)するが、工夫をしないとタグの総数が爆発的に増えるためデータ管理を目的としてタグを集約(aggregated)する。実データを用いた検証では、教師なしにタグ付けが行えることと、生成されるタグを用いて比較分析ができるようになること、タグの総数を抑えらていることを紹介する。