Роджер Клиффорд умер в Скиптонском замке в 1389 году. Семейство Клиффордов предпочло имение в Йоркшире вместо полуразрушенных в результате войн с Шотландией замков в Уэстморленде. Неизвестно, использовался ли Бруэм в это время как место жительства. Однако, есть упоминание, что в 1421 году в замке был найден мужчина, обвиненный в подделке монет. Хотя немногое известно о Бруэме в этот период, историки считают, что ремонтные работы всё-таки были проведены до начала соперничества между семьей Клиффорд и родом Невиллов, которое сыграло определённую роль в его истории. Графы Солсбери из рода Невиллов имели в своём распоряжении находящийся поблизости город Пенрит. По этой причине, вероятно, Клиффорды держали в замке гарнизон. Во время «войны роз» (1455—1485) Клиффорды поддерживали Ланкастеров, а Невиллы помогали Йоркской династии. Когда Эдуард IV захватил престол в 1461 году, земли Джона Клиффорда, 9-го барона де Клиффорд, были конфискованы. В 1471 году Эдуард IV отдал имения Клиффордов Уильяму Парру, 1-му барону Парру из Кендала. Год спустя Генри Клиффорд, 10-й барон де Клиффорд, сын Джона и его наследник, был помилован. После захвата власти Генрихом VII барон обратился к королю с просьбой о возврате земель и получил их в ноябре 1485 года.