テーブルデータを分析対象とするデータ分析コンペティションにおけるLLMsの性能調査

本研究では，テーブルデータを分析対象とするデータ分析コンペティションにおいて，多くのコンペティションで入賞者が使用しているGBDT系のモデルと比較して，LLMsがどのような条件化において有効であるかを評価する．現状のLLMsは連続値のデータを扱う点においてGBDT系のモデルに大幅に劣るため，カテゴリカル変数のみに特徴量を絞った上で，学習データの件数により，性能がどのように推移するかを手法ごとに確認した．分析の結果，学習データの件数が少ない場合においては，事前学習が行われているLLMsの方が良好な結果を示し，データ件数が一定数を超えるとGBDT系のモデルの方が良好な結果を示すことが確認できた．