期待停止時間の最適化問題は、Markov連鎖に特有の性質を持つため、他のモデルにおいても同様の結果が成り立つかは慎重に検討する必要があります。例えば、確率的オートマトンや確率的グラフモデルにおいても、期待停止時間を考慮した最適化問題を定義することは可能ですが、これらのモデルでは状態遷移の性質や報酬の構造が異なるため、結果の一般化には限界があります。
特に、確率的オートマトンでは、状態遷移が非決定的であるため、期待停止時間の最適化問題はより複雑になります。この場合、最適化問題の解法が未決定性に依存するため、Markov連鎖における結果をそのまま適用することは難しいです。しかし、特定の条件下では、類似のアプローチや近似手法が有効である可能性があります。