Het kasteel werd gebouwd tussen 1130 en 1140, in opdracht van Hendrik van Blois, de bisschop van Winchester. In 1141, tijdens de periode die als de Anarchie bekendstaat, belegerden troepen van koningin Mathilde de bisschop in het kasteel. De verdedigers stichtten brand in de stad waardoor het grootste deel van de oude stad Winchester verloren ging. Ze wisten het leger van koningin Mathilde op te houden werd totdat Mathilde van Boulogne, de vrouw van koning Stephan, met versterkingen vanuit Londen arriveerde om Winchester te ontzetten.