Han måtte gå av som forsvarsminister i 1903 etter at han i Stortinget hadde røpet interne uenigheter i Regjeringen, og ble etter eget ønske kommandant på Oscarsborg festning, hvor han tjenestegjorde fra 15. september 1903 til sin død i 1907.