Anlegget har sitt opphav fra den eksotiske hagen til Kew House etablert av Lord Capel av Tewkesbury, og ble utvidet av prinsesse Augusta, enken etter Fredrik, prins av Wales. Georg III utviklet hagene med hjelp av William Aiton og Joseph Banks. Det gamle Kew House ble revet i 1802. Det tilstøtende Dutch House ble kjøpt av Georg III i 1781 som daghjem for de kongelige barna. Huset er en enkel murstensbygning som idag har navnet Kew Palace.