オフライン強化学習では、エージェントは他者の経験から学ぶため、自身が直接環境とやり取りするオンライン設定とは異なる点があります。この場合、エージェントが観測できない潜在的な共変量（confounders）が存在し、行動と報酬を混同させる可能性があります。具体例を挙げれば、運転エージェントの方策（policy）をドローン映像データから学んだ場合、実際には前方車両のブレーキランプ情報等も重要ですが、これらは観測されません。そのため、オフライン設定では因果関係モデルを活用して行動と報酬間の真の因果関係を推定することが重要です。