Ar 1804 blef han krigsminister och förblefdet