テーブルデータを分析対象とするデータ分析コンペティションにおけるLLMsの性能調査

近年，大規模言語モデル(LargeLanguageModels;LLMs)の性能は日々向上しており，LLMsはテキストデータを分析対象とするデータ分析コンペティション(以降，コンペティションと呼ぶ)の上位入賞に欠かすことのできない要素になっている[1,2]．また，テーブルデータを分析対象とするコンペティションにおいては，多くのコンペティションで勾配ブースティング決定木(GradientBoostingDecisionTrees;GBDT)系のモデルが上位入賞の解法に使用されてきた．テーブルデータを分析対象とするコンペティションにおいて，未だにGBDT系のモデルが有力な手法ではあるが，LLMsを用いた手法も使われ始めており，上位入賞の全員がLLMsを使用していたコンペティションも存在する．例えば，2025年に開催されたatmaCup#20[3]では，テーブルデータの情報をプロンプトに埋め込み，BERTやLLMsをファインチューニングすることが，上位入賞に不可欠でした．コンペティションだけでなく，推薦やエージェントシミュレーションの分野など，様々な分野においてもLLMsの活用は進んでおり，今後もその活用領域はより拡大していくことが予想される[4]．このような背景を踏まえ，本研究では，テーブルデータに対してどのような条件化においてLLMsが有効であるかを評価する．可能であればatmaCup#20のデータを用いて実証分析を行いたいが，atmaCup#20の参加にはNDA契約を結ぶ必要があり，コンペティション終了後にデータの削除が必須であったため1），本研究では，atmaCup#8[5]のデータを元に検証を行う．具体的には，カテゴリカル変数のみに特徴量を絞ったデータを用いて，学習データの件数により，性能がどのように推移するかを手法ごとに確認する．