大規模なSSLモデルから知識を抽出することは困難です。たとえ生徒モデルが完全に同じアーキテクチャに従っていても、SSLモデルから知識を効果的に抽出することは挑戦的です。これは主にSSL embeddings自体の構造から来ており、微細な詳細情報や音声特性など多くの要素が含まれているためです。そのため、単純にアーキテクチャだけでは十分でなく、SSL embeddings内部でエンコードされている情報量や複雑さも考慮する必要があります。