分類タスクへのFTICL導入時に見られた問題点は何ですか？
分類タスクへのFine-Tuning with In-Context Learning（FTICL）導入時に見られた問題点はいくつかあります。まず、FTICLモデルは通常、バニラ的なFine-Tuning（FT）モデルよりも悪い結果を示す傾向がありました。これは、分類タスクではin-context例が与えられた場合でもモデルが十分な学習を行うことが難しい可能性があるからです。具体的には、全てのラベル情報がin-context例で提供されており、それ自体が注意散漫要因となってしまう可能性が考えられます。さらに最適化プロセスも重要であり、「怠惰」な振る舞いから来ている可能性も指摘されています。