本研究では，テーブルデータを分析対象とするデータ分析コンペティションにおいて，多くのコンペティションで入賞者が使用しているGBDT系のモデルと比較して，LLMsがどのような条件化において有効であるかを評価する．現状のLLMsは連続値のデータを扱う点においてGBDT系のモデルに大幅に劣るため，カテゴリカル変数のみに特徴量を絞った上で，学習データの件数により，性能がどのように推移するかを手法ごとに確認した．分析の結果，学習データの件数が少ない場合においては，事前学習が行われているLLMsの方が良好な結果を示し，データ件数が一定数を超えるとGBDT系のモデルの方が良好な結果を示すことが確認できた．

近年，大規模言語モデル(LargeLanguageModels;LLMs)の性能は日々向上しており，LLMsはテキストデータを分析対象とするデータ分析コンペティション(以降，コンペティションと呼ぶ)の上位入賞に欠かすことのできない要素になっている[1,2]．また，テーブルデータを分析対象とするコンペティションにおいては，多くのコンペティションで勾配ブースティング決定木(GradientBoostingDecisionTrees;GBDT)系のモデルが上位入賞の解法に使用されてきた．テーブルデータを分析対象とするコンペティションにおいて，未だにGBDT系のモデルが有力な手法ではあるが，LLMsを用いた手法も使われ始めており，上位入賞の全員がLLMsを使用していたコンペティションも存在する．例えば，2025年に開催されたatmaCup#20[3]では，テーブルデータの情報をプロンプトに埋め込み，BERTやLLMsをファインチューニングすることが，上位入賞に不可欠でした．コンペティションだけでなく，推薦やエージェントシミュレーションの分野など，様々な分野においてもLLMsの活用は進んでおり，今後もその活用領域はより拡大していくことが予想される[4]．このような背景を踏まえ，本研究では，テーブルデータに対してどのような条件化においてLLMsが有効であるかを評価する．可能であればatmaCup#20のデータを用いて実証分析を行いたいが，atmaCup#20の参加にはNDA契約を結ぶ必要があり，コンペティション終了後にデータの削除が必須であったため1），本研究では，atmaCup#8[5]のデータを元に検証を行う．具体的には，カテゴリカル変数のみに特徴量を絞ったデータを用いて，学習データの件数により，性能がどのように推移するかを手法ごとに確認する．