DPOおよびIPOの失敗例から得られる教訓から他の方法や手法が考えられます。例えば、「重みつき勾配」の導入や「優先度マッチング」の採用など新しい手法が考えられます。「重みつき勾配」では間違ったモデル順序に応じて勾配を調整し、「優先度マッチング」では好ましさ確率と実際の生成確率とのクロスエントロピー損失を利用して好ましさ確率へ合わせて学習します。