状態および行動が有限集合の場合は有限マルコフ決定過程という。