Nettopp i 1859 ble dette spesielt betent. Oscar I hadde slitt mye med sykdom, og døde i 1859. Birch-Reichenwald ønsket å avskaffe stattholderposisjonen. Han fikk med Carl, nå Karl IV, på planen, som gikk ut på å stryke stattholderposisjonen som en morgengave. Stortinget skrev et vedtak, og Karl IV skulle signere dette. Regjeringen valgte imidlertid å ikke la svenske politikere bli overrasket over hvor fort det gikk, og utsatte derfor overbringelsen av vedtaket til Karl IV først etter at han var returnert til Sverige. Det ga den motsatte effekten av den ønskede. Konservative svenske politikere var uvillige, og krevde at stattholderposisjonen ikke skulle oppheves før unionen ble revidert. Hensikten var at både kongen og Sverige skulle få større makt i unionen. Dette medførte stort press både på den svenske justisstatsministeren Louis Gerhard De Geer og på Karl IV. Karl IV nektet å sanksjonere vedtaket i norsk statsråd, og markerte at dette var et norsk anliggende. Svenske politikere var skuffet over at Karl IV signaliserte at dette var en norsk sak, og norske var skuffet over sanksjonsnektelsen.