Konservative svensker syntes imidlertid at Norge hadde fått for stor frihet i personalunionen med Sverige. Karl III Johan var derfor under press og forsøkte flere ganger å undergrave den norske grunnloven, men forgjeves. Ifølge grunnloven av 4. november 1814 hadde kongen rett til å utnevne en stattholder i Norge uansett nasjonalitet. Fra norsk side ble denne loven følt som et lydrikesymbol, noe som gjorde at Stortinget i 1854 opphevet stattholderposten. Kong Oscar I nektet for øvrig å sanksjonere dette vedtaket, og i 1859 kom Stortinget med et nytt forslag om å oppheve stattholderstillingen og samtidig la statsministeren lede den norske regjeringen.