古典的なエンコーディングモデルについてどんな利点や特徴が考えられるか？
古典的エンコーディングモデル（例：SBERT, USE, LASER）はLLMsよりもパラメータ数・計算量等で軽量でありつつも有益な特徴を持っています。まず第一に挙げられる利点はリソース消費量が少なく速度面でも優位性を持つことです。これは組み込みシステムやリアルタイム応用向けでは非常に重要です。
また、実験結果からわかる通り一部分野ではLLMs以上のパフォーマンスを発揮する場合もあります。例えばWord Analogy Task AnalysisではSBERTがしばしば上位ランクインしました。そのため、「ショートカット」として使用する場合や小規模プロジェクト向けでも十分実用化可能です。
更に古典派アプローチでは直感レベルで理解し易く解釈可能性・透過性等良好です。「黒箱」問題回避策案件でも有望視されます。