Il castello venne edificato la prima volta da re Guglielmo II d'Inghilterra nel 1090 come un "motte e bailey", struttura molto diffusa nell'Inghilterra normanna, che si presentava come un forte di difesa. Brough Castle venne assalito la prima volta nel 1174 da milizie armate scozzesi guidate da re Guglielmo il Leone, nell'ambito della rivolta del 1173-1174. L'edificio subì gravi danni; il dongione infatti fu fatto ricostruire interamente nel 1180 da Theobald de Valoignes.