En 1953, tras la muerte del rey Jorge VI, la reina madre y la princesa Margarita se mudaron a la casa, aunque esta última luego se mudó a un apartamento en el palacio de Kensington.