無限時間の設定で任意の相手に対して学習する際の欠点として考えられる一つは、「探索」と「利用」のトレードオフです。競合相手が予測不可能な戦略を取る場合、エージェントは新しい情報や最適な行動を見つけるために探索しなければなりませんが、同時に既知の情報や効果的な行動も活用する必要があります。このバランスを保つことは困難であり、特に無限時間設定ではさらに複雑化します。