I 1810 overtok Frederik VI paléet, som heretter skulle tjene som gjestebolig for kongefamiliens slektninger. I 1837 flyttet prins Christian (den senere Christian IX) inn i paléet, hvor han bodde med familien inntil 1865 da de fikk residens på Amalienborg slott. Prins Valdemar var den siste kongelige som hadde Det gule palé som bolig. Han bodde der inntil sin død i 1939.