El portal de ingreso fue reforzado con arbotantes y se construyó un patio adicional alrededor de 1450, posiblemente por Thomas Clifford. Durante las Guerras de las Dos Rosas entre las casas rivales de Lancaster y de York, Clifford apoyó a los primeros. Thomas murió en 1455, seguido por su hijo John en 1461; Brough fue temporalmente tomado por los Yorks, hasta que, a Henry, hijo de John, le fueron restituidas sus tierras en 1485 por el rey Enrique VII.