Slottet började uppföras av Vilhelm Erövraren efter hans lyckade invasion av England år 1066 och blev kungligt residens för hans son Henrik I. Det välbekanta Runda tornet härstammar från denna tidiga, normandiska period. Slottet har sedan byggts ut genom århundradena, inte minst under 1800-talet.