Huset ble bygget av Thomas Bourchier, erkebiskop av Canterbury fra 1456 til 1486. Han døde i huset, som etterpå ble testamentert til Canterbury erkebispedømme. Mellom 1486 og 1538 bygde erkebiskopene på en borggård, i dag kjent under navnet "Green Court". I 1538 tok Henrik VIII huset fra erkebiskop Thomas Cranmer.