ニューラルネットワークやTransformerアーキテクチャがこの問題に有効だった理由は、主に長期依存関係を捉える能力と帰納的なバイアスを減らす点にあります。ニューラルネットワークは、複数のインスタンス間の相対関係を効果的に学習することができます。例えば、Transformerアーキテクチャでは、セルフアテンション機構を使用して与えられたインスタンス同士を比較し、重要な特徴量を抽出します。これにより、長期依存関係やデータ内のパターンをキャプチャする能力が向上しました。