伝統的なSeqKD方法と比較して、MT-PATCHERはいくつかの点で進化したアプローチです。
まず第一に、MT-PATCHERでは学生モデルに対するフィードバックを通じて教師LLMから知識を引き出すため、「選択性」、「包括性」、「積極性」という特徴があります。これにより学習効率が向上しました。
さらに、SeqKDでは単一コーパス内で制限される傾向があった反面、MT-PATCHERでは多様な文脈や類似単語を合成することで新しい文脈や未知の単語へも拡張される能力が向上しました。