L’île et ses environs prirent rapidement le nom de "Westminster", en contraction des mots anglais "West Monastery" (« monastère de l’Ouest »). À la suite de l’invasion normande de 1066, Guillaume le Conquérant s’installa dans la tour de Londres, mais lui préféra vite Westminster. Il ne subsiste aujourd’hui aucune trace des bâtiments qui existaient à l’époque des Anglo-Saxons et de Guillaume. Les plus anciennes sections subsistantes du palais, Westminster Hall et le Grand Hall, datent du règne du successeur de Guillaume le Conquérant, le roi Guillaume le Roux. Le palais devint donc la résidence principale des rois d’Angleterre jusqu’à l'incendie de 1512 qui a détruit une partie importante des bâtiments.