טירת וולוסי הייתה ארמונו של הבישוף הנורמני משנת 1110, אבל עמד באתר מבנה מהתקופה האנגלוסקסית הקודמת יותר. הארמון שופר על ידי הנרי דה בלואה בזמן שלטון האנרכיה של אחיו סטפן, מלך אנגליה. הטירה הייתה תחת מצור במשך כמה ימים. במאה ה-16, המלכה מארי טיודור ופיליפ השני, מלך ספרד שהו בטירה לפני חתונתם בקתדרלת וינצ'סטר. הטירה הרוסה כעת לחלוטין, אך מתוחזקת על ידי רשות המורשת האנגלית. הקפלה של הטירה שולבה בארמון חדש שנבנה ב-1680.