I 1855 ble festningen besøkt av kong Oscar I og den fikk da offisielt navnet etter ham. Året etter ble Akershus nedlagt som operativ festning, og Oscarsborg overtok Akershus' funksjoner. Offiseren Henrich Sigvard Scheel (1806-91) ble utnevnt til den nye Oscarsborg festnings kommandant den 1. mai 1856 (-1867). På det tidspunkt var Oscarsborg ansett som Nord-Europas mest moderne festning. Dette ry ble imidlertid kortvarig. Flere større kriger ut gjennom midten av 1800-tallet førte med seg at våpenteknologien utviklet seg med rasende fart. Allerede i 1864 var Oscarsborg foreldet. Dette kom spesielt av utviklingen innenfor artilleriet. Men det opprinnelige anlegget på Kaholmene viste seg også å være av begrenset verdi. Det var kun beregnet til forsvar mot angrep fra sjøsiden. Oscarsborg ville derfor kunne omgås og relativt enkelt bli erobret fra fastlandet ved en landgang på Nordre Kaholmen.