PLMsは文法的正確性に依存して意味類似性を提供する可能性があるという結果から何を学ぶべきですか？
PLMsが文法的正確性やシンタックス構造から意味類似度情報を提供する傾向があることから学ぶ点は複数あります。まず第一に、モデルは入力テキスト全体およそシンタクス構造全体（例：依存パース）から情報抽出しようとします。この点からプローブ技術等でモデル内部表現内容分析時、「CLS」トークン以外でも各レイヤー内部表現活動度・特徴量変化等視野広く考察すべきです。
次第二点目、「CLS」トークン自体「文章全体」という大局視角持つ傾向見受けました。「CLS」トークン自身含まれた情報限定され得ています故、「Mean Pooling」方式等文章中心位置代替利用方面有益思われます。
最後三番目ポイント、“Synthetic Data”使用時本研究では“Syntactic Structure”及ばせん“Semantic Similarity”測定困難事象発生指摘されました。“Syntactic Structure”及ばせん“Semantic Similarity”相互補完関係存在推測可知因此両者バランス良好保持必須条件護持必須条件護持必須条件護持必須条件護持必須条件保ち続け欲望所存所存欲望ございます。