大規模言語モデルを用いたタグ付けによるデータの品質向上

“Garbagein,Garbageout”という表現が知られているように、入力データの品質が不十分であれば、いかに高度なデータ分析方法を用いても、結果として得られる出力は不十分になる。この現象を避けるため、外部データソースから関連データを検索し統合することで、入力データの品質を上げる方法[1]が提案されている。しかし、常に望ましい情報が存在するとは限らない。例えば、企業に関するデータ分析をする際に、各企業の利用者の印象に関するデータを統合させようにも、外部ソースがすべての会社に対して十分な情報を含んでいるわけではない。データソースに答えとなるような情報が含まれていなくても、大規模言語モデル(LargeLanguageModel;LLM)を活用することで、その中に含まれる知識から様々な関係性を推測することが可能になっている[2,3,4]。本研究では、データ高品質化の手法としてのタグ付けに注目する。タグは、各データ項目を人目で内容を把握するのに役立ち、関連情報検索の高速化に貢献する方法であり、ソーシャルメディアやニュースウェブサイトで一般的に使用されている。図1は、各会社にタグが割り当てられ、会社のテーブルにタグの列が新たに追加されるシナリオを示している。タグ付きのテーブルが得られると、タグなしの入力データでは実現できなかった分析が可能になる。本研究ではタグ付けを行う方法として、GA-Tag(GeneratedandAggregatedTag)を提案する。GA-Tagはまず、LLMを活用してて各データ項目にタグを生成する。GA-TagはLLMの知見を活用するため、.追加のデータ収集や学習が不要であるため、ゼロショットに任意のデータに対してタグを生成することが可能である。しかし、何も工夫をしないと多種多様なタグが各データごとに大量に生成される。これはデータ管理の点や、分析の際にスパースなデータを扱うことになるなどの課題がある。そこで、意味が似ているタグは一つの代表的なタグに置き換える集約処理を施すことで、タグの品質は保ったままタグのユニーク数を減らす。これにより、後段のデータ分析に貢献するタグを付与し、データの品質向上に繋がげられる。本研究は[5]にて発表予定である。