Tanto Jorge I como Jorge II alojaron en el palacio a sus amantes, la duquesa de Kendal y la condesa de Suffolk respectivamente.