לאחר קרב הייסטינגס נכבשה הטירה על ידי כוחות נורמנים בהנהגת ויליאם הכובש מידי חיל המצב האנגלי (סקסוני) ומבניה הועלו באש. טירה חדשה בסגנון התל וחצר (אנגלית: "motte and bailey" ) הנפוץ אצל הנורמנים נבנתה באתר. הטירה נבנתה מחדש בתקופת שלטונו של הנרי השני, מלך אנגליה, בתקופה זו נבנה מגדל עוז גדול ממדים, שהיה אחד מהאחרונים שנבנו, וסביבו מערכת הגנה כפולת חומות בסגנון המצודה הקונצנטרית שמקורה באדריכלות צבאית צלבנית ובדומה למבצר הצלבני המפורסם קראק דה שבלייה.