Imidlertid var det prinsippet rundt posisjonen som var problemet. Norske politikere oppfattet tittelen «stattholder» som unødvendig bakstreversk og som et «lyrdrikemerke». Derfor prøvde Stortinget å få det fjernet allerede i 1854. Oscar I nektet dette, men da han gikk bort i 1859, sendte Stortinget et nytt forslag til Karl IV, som hadde lovet å sanksjonere loven. På grunn av press fra svensk presse og fra Riksdagen, nektet han imidlertid å sanksjonere. Saken ble også en krangel mellom Storting og Riksdagen om det var en felles eller spesifikk norsk avgjørelse. I 1873 sanksjonerte imidlertid Oscar II loven om å fjerne stattholderen.