Fue en el siglo XI cuando los normandos introdujeron los castillos y su construcción en Inglaterra, tras la conquista de 1066 esto les ayudó a asegurar su nuevo territorio. Durante mucho tiempo se presupuso que el primer castillo se ubicaba cerca del río, una torre de madera con empalizadas a las afueras de la muralla de la ciudad, en la esquina suroeste. El hipotético emplazamiento de este primer castillo pasó a conocerse como "Colina Boley". El arqueólogo Tom McNeill sugiere que estos primeros castillos ingleses tenían un carácter puramente militar, construidos para albergar un largo número de tropas en territorio hostil.