Probabilmente la prima casa eretta all' interno del sito fu quella di un Sir William Blake, intorno al 1624. Il proprietario successivo era Lord Goring, che dal 1633 ampliò la casa di Blake e sviluppò gran parte del giardino odierno, allora noto come Goring Great Garden. Egli non ottenne, tuttavia, l' interesse libero nel giardino di gelso. Sconosciuto a Goring, nel 1640 il documento "non riuscì a passare il Grande Sigillo prima che il re Carlo I fuggesse da Londra, cosa che doveva fare per l' esecuzione legale". E' stata questa omissione critica che ha aiutato la famiglia reale britannica a riconquistare la proprietà sotto il Re Giorgio III.
Quale re non riuscì ad eseguire il documento di Goring prima di fuggire a Londra?
re Carlo I