トランスフォーマーモデルの多義性の表現は、従来の多義性理論と異なる点がいくつかあります。従来のアプローチでは、多義性は通常、異なる意味を持つ複数の語義として捉えられてきました。一方、トランスフォーマーモデルでは、各単語の埋め込みが文脈に応じて変化し、複数の意味を表現することが可能となります。このアプローチの長所は、柔軟性と表現力の向上にあります。しかし、課題としては、トークン埋め込みが異なる語義を適切に表現する方法が不透明であることが挙げられます。また、トランスフォーマーモデルがどのように多義性を処理しているかについての理解がまだ不十分である点も課題と言えます。