Teen die 13de eeu het die Paleis van Westminster die regeringsetel geword in England, en dit was sedert 1049 die hoofwoning van die monarg. Die omringende gebied het baie gewild en duur geword en die aartsbiskop van York, Walter de Grey, het kort ná 1240 ’n eiendom in die gebied gekoop wat hy York Place genoem het.
Koning Eduard I het dikwels in dié huis gebly terwyl restourasiewerk aan Westminster gedoen is en hy het die gebou laat vergroot om sy gevolg te huisves. York Place is in die 15de eeu herbou en so deur kardinaal Wolsey laat uitbrei dat dit die naasgrootste woning in Londen was; dit was selfs groter as die koning se paleise. Toe Hendrik VIII die Katolieke kardinaal in 1530 van sy mag ontneem, het hy York Place oorgeneem as sy nuwe hoofwoning in die plek van Westminster. Hy het saam met Anna Boleyn na die woning se skatte gaan kyk. Die naam "Whitehall" of "White Hall" is in 1532 die eerste keer gebruik; dit kom van die wit stene wat vir die gebou gebruik is.
Jakobus I het ’n paar groot veranderings laat aanbring. Hy het onder meer ’n banketsaal in 1622 laat aanbou. Teen 1650 was die paleis die grootste niekerklike kompleks in Engeland, met meer as 1 500 kamers. Die uitleg was baie onreëlmatig en die verskillende dele was van verskillende groottes en argitektoniese style. Dit het meer soos ’n klein dorp gelyk as soos ’n enkele gebou.
Op 10 April 1691 het ’n brand in die paleis uitgebreek wat die ouer strukture verswak het, maar blykbaar nie die staatskamers nie. ’n Tweede brand het egter op 4 Januarie 1698 uitgebreek en die grootste deel van die res van die kompleks verwoes. Benewens die banketsaal het net ’n paar geboue oorgebly, maar dit is eindelik in 1769 gesloop.