Palasset ble bestilt av kong Henrik VIII av England på stedet til et tidligere hospital for spedalske dedisert helgenen Jakob den yngre. Det nye palasset, sekundært i kongens interesse for hans Whitehall Palace, ble bygget i årene mellom 1531 og 1536 som en mindre residens for å unnslippe det formelle hofflivet. Det var langt mindre enn det nærliggende Whitehall, og arrangert rundt en rekke gårdsplasser, inkludert Colour Court, Ambassador's Court og Friary Court. De mest gjenkjennbare trekket er nordlige portportal som er konstruert med fire etasjer, to krenelerte, åttekantede tårn ved dets hjørner og en sentral klokke som dominerer øverste etasje og gavl. Klokken er et senere tillegg, og er datert fra 1731. Det er dekorert med initialene «H.A.» for Henrik og hans andre hustru Anne Boleyn. Kong Henrik bygget palasset i rød murstein med detaljer i mørkere murstein.