Arveprinsesse Caroline og arveprins Ferdinand kjøpte bygningen etter at de giftet seg i 1829. Etter prinsessens død i 1881, ble bygningen solgt for ca. 357 000 danske kroner til kong Georg av Hellas. Etter at Christiansborg slott brant i 1794, flyttet midlertidig Højesteret inn i førsteetasjen, mens andre etasje ble bolig for prins Carl (senere kong Haakon den 7. av Norge) og prinsesse Maud, etter at de giftet seg i 1896.