データ分析における結果の質を向上させるためには、入力データの質を担保することが重要である。本研究では、データの品質を向上させる目的で、各データ項目にタグを付けることを考える。タグ付けを行うことにより、複数のデータを横断的に扱うデータ分析が容易になり、情報検索の高速化に貢献する。従来手法では、何らかの外部ソースから関連データを抽出し、入力データと結合することで情報拡張が行われていたが、すべてのデータで望ましい外部データを得られるとは限らない。一方で、昨今の大規模言語モデル(LLM)の進展により、関連データが存在しなくても、LLMが含む知識を基に教師なしでデータの特性を予測することが可能になっている。本論文では、LLMを用いたタグ付けシステムGA-Tag(GeneratedandAggregatedTag)を紹介する。プロンプトエンジニアリングによりLLMを活用して一つのデータ項目にタグを付与することは可能であるが、大量のデータ項目にタグを付ける際には、後段のデータ処理を考慮し、管理しやすい形式に整理する必要がある。GA-Tagでは、LLMによってタグを生成(generated)するが、工夫をしないとタグの総数が爆発的に増えるためデータ管理を目的としてタグを集約(aggregated)する。実データを用いた検証では、教師なしにタグ付けが行えることと、生成されるタグを用いて比較分析ができるようになること、タグの総数を抑えらていることを紹介する。

“Garbagein,Garbageout”という表現が知られているように、入力データの品質が不十分であれば、いかに高度なデータ分析方法を用いても、結果として得られる出力は不十分になる。この現象を避けるため、外部データソースから関連データを検索し統合することで、入力データの品質を上げる方法[1]が提案されている。しかし、常に望ましい情報が存在するとは限らない。例えば、企業に関するデータ分析をする際に、各企業の利用者の印象に関するデータを統合させようにも、外部ソースがすべての会社に対して十分な情報を含んでいるわけではない。データソースに答えとなるような情報が含まれていなくても、大規模言語モデル(LargeLanguageModel;LLM)を活用することで、その中に含まれる知識から様々な関係性を推測することが可能になっている[2,3,4]。本研究では、データ高品質化の手法としてのタグ付けに注目する。タグは、各データ項目を人目で内容を把握するのに役立ち、関連情報検索の高速化に貢献する方法であり、ソーシャルメディアやニュースウェブサイトで一般的に使用されている。図1は、各会社にタグが割り当てられ、会社のテーブルにタグの列が新たに追加されるシナリオを示している。タグ付きのテーブルが得られると、タグなしの入力データでは実現できなかった分析が可能になる。本研究ではタグ付けを行う方法として、GA-Tag(GeneratedandAggregatedTag)を提案する。GA-Tagはまず、LLMを活用してて各データ項目にタグを生成する。GA-TagはLLMの知見を活用するため、.追加のデータ収集や学習が不要であるため、ゼロショットに任意のデータに対してタグを生成することが可能である。しかし、何も工夫をしないと多種多様なタグが各データごとに大量に生成される。これはデータ管理の点や、分析の際にスパースなデータを扱うことになるなどの課題がある。そこで、意味が似ているタグは一つの代表的なタグに置き換える集約処理を施すことで、タグの品質は保ったままタグのユニーク数を減らす。これにより、後段のデータ分析に貢献するタグを付与し、データの品質向上に繋がげられる。本研究は[5]にて発表予定である。