הטירה הראשונה במקום נבנתה בתחילת המאה ה-12 באופן לא חוקי (כלומר לא על ידי הכתר) בתקופת האנרכיה, ונהרסה בעשרים השנים הבאות, כשהשלטון חזר להתייצב בממלכה. במקומה נבנתה אחוזה, שבוצרה באישור המלך במהלך המאה ה-13. שינויים והרחבות נעשו במהלך המאות הבאות על ידי השליטים באותם תקופות. המבנה התפתח עד שנהפך למתחם מבוצר בעל שישה צריחים, חומה היקפית ומבני משק בתוכה, כולל אחד מההיכלים (Long gallery) הגדולים ביותר שנבנו באנגליה. בשנת 1554 השתלט הכתר על הטירה, לאחר שהמרד של שליטה סר תומאס וייאט הצעיר נגד בלאדי מרי נכשל.