Etter at Edvard II måtte flykte fra slagmarken ved Bannockburn i 1314 skal han ha påkalt jomfru Maria og lovet å bygge et karmelittkloster dersom han unnslapp. For å oppfylle dette løftet gav han Beaumont Palace til ordenen i 1318. Ved oppløsningen av klostrene under reformasjonen ble det meste av bygningen fjernet, og stein derfra ble brukt til Christ Church College og St John's College.