Dronning Josefines store sorg var mannens utroskap; det gjaldt det langvarige kjærlighetsforhold til skuespillerinnen Emilie Högqvist. Kongen fikk to sønner med Högqvist, og disse to barna ble kjent som «prinsene av Lappland».