El portal d'entrada va ser reforçat amb boterells i es va construir un pati addicional al voltant del 1450, possiblement per Thomas Clifford. Durant les Guerres de les Dues Roses entre les cases rivals de Lancaster i de York, Clifford va donar suport als primers. Thomas va morir el 1455, seguit pel seu fill John l'any 1461; Brough va anar temporalment pels Yorks, fins que, a Henry, fill de John, li van ser restituïdes les seves terres en 1485 pel rei Enric VII.