SMP-BERTの事前学習には、特定のタスクに適した新しいプロンプト学習方法が活用されています。この手法は、構造化情報抽出に特化しており、報告書のセクション間の論理的な関連性を理解することに焦点を当てています。事前学習に使用されるデータ以外の情報を活用することで、さらなる性能向上が期待されます。例えば、さらに多様なデータセットを使用したり、新しいプロンプトの導入によってモデルの汎用性を向上させることができるでしょう。新たな情報や手法を取り入れることで、SMP-BERTの性能をさらに高める可能性があります。