Henry de Blois obispo de Winchester (nieto de Guillermo el conquistador, y hermano del rey Esteban de Inglaterra) comenzó a construir el castillo, situado a medio camino entre Winchester y Londres, para proporcionarse alojamiento en los frecuentes viajes que hacia desde su sede catedralicia hasta la capital.