Paleet ble bygd årene 1756–1766 til John Spencer, 1. jarl Spencer (en forfader til Diana Frances Spencer, prinsesse av Wales (1961–1997)). Gjennom mer enn 100 år var paleet Spencer-familiens bolig i London.