El castillo fue construido por primera vez durante el siglo XI (probablemente en 1085), por el noble normando Walter de Lacy.