Oscar Is håp om tilnærming mellom folkene ble ikke innfridd, til tross for at unionen i hans regjeringstid nådde høydepunktet av popularitet i Norge, styrket av skandinavismen som fikk stor tilslutning ved midten av 1800-tallet. Mot slutten av sin regjeringstid skal han ha klaget over at unionen var ulykkelig, og at den aldri kunne bli noe annet. I 1856 gikk den siste stattholder Severin Løvenskiold av, og embetet ble ikke besatt. I stedet ble kronprins Karl i 1857 utnevnt til visekonge for en kortvarig periode.