Norske krav om at det måtte fjernes helt var bakgrunnen for i 1850- og 60-årene. Stortinget innstilte på nedleggelse i 1859, men Oscar I nektet sanksjon. Etterfølgeren Karl IV var velvillig innstilt til å avskaffe «lydrikemerket», men ble under svensk press tvunget til å nekte sanksjon. Dette ga opphav til den første alvorlige konflikten i unionen, og den utløste en regjeringskrise i Norge. Konflikten, som hadde bakgrunn i statenes ulike oppfatning av unionsvilkårene, ble stadig mer tilspisset og endte med unionsoppløsningen i 1905. Det var først i 1873 at kong Oscar II sanksjonerte Stortingets vedtak om å nedlegge embetet.