Etter Lindencrones død fikk paleet flere forskjellige eier. Det tilhørte først Christian Raben og etter hans død i 1838 ble det overtatt av en seilduksfabrikant. Etter flere skiftende eierforhold kjøpte den britiske dronning Victoria paléet i 1898 og det ble benyttet som ambassade og ambassadørbolig inntil slutten av 1970-tallet. Bygningen ble fredet i 1983.