RCMP（Refined Corpus Model Pre-training）は、一般的なコーパスを洗練し、その情報を保持しつつサイズを削減することで、小さな言語モデルの事前学習を強化します。具体的には、相互情報量最大化法を使用して適切な文書集合を抽出し、これらの文書から構築されたリファインドコーパスで言語モデルを再学習します。このプロセスにより、小さな言語モデルが推薦シナリオで優れたパフォーマンスを発揮するために必要な情報が効果的に取り込まれます。
一方、TPPT（Transferable Prompt Pre-training）ではターゲットドメイン用のタスクプロンプトとドメインプロンプトを設計し、ソースデータセットから得られる他のレコメンドシナリオから事前学習された知識やテキスト情報を活用してこれらのプロンプトを最適化します。この方法論によって、小さな言語モデルも異なるシナリオ間で共通した知識や特徴量が伝達されることで冷却開始設定下でも高度かつ個人化されたレコメンドシステム構築へ寄与することが可能です。