Gegen Ende des 14. Jahrhunderts kam in England zunehmend der Konflikt zwischen den Yorkisten und den Lancastrianern auf. St Brivaels Castle wechselte mehrmals zwischen diesen Parteien den Besitzer, spielte aber keine größere Rolle in dem eigentlichen Konflikt. Anfangs fiel die die Burg an den Sohn König Eduards, Thomas of Woodstock, 1. Duke of Gloucester; als dieser nach seinem Aufstand gegen König Richard II. die königliche Gunst verlor, erhielt Thomas le Despenser 1397 die Burg auf Lebenszeit als Teil des Lohns für seine Dienste für König Richard. Mit Thomas le Despensers eigenem Verlust der Macht unter König Heinrich IV. fiel die Burg dann an König Heinrichs Sohn, John of Lancaster, 1. Duke of Bedford. Henry de Beauchamp, 1. Duke of Warwick, ein enger Freund Heinrichs VI., erhielt St Briavels Castle und den Forest of Dean um 1445. William Herbert erhielt die Burg 1467 als Lohn für seine Unterstützung von Eduard IV. und der yorkistischen Fraktion in den Rosenkriegen; er wurde dann auf Geheiß des Lancastrianers Richard Neville, 16. Earl of Warwick, hingerichtet, der die Burg für sich selbst beanspruchte. Der Earl of Warwick fiel 1471 in der Schlacht von Barnet, aber, nachdem die Burg kurze Zeit von ‘’Robert Hyet’’ gehalten wurde, gab König Heinrich VII. sie an Nevilles Witwe, Anne Neville, 16. Countess of Warwick, zurück. Nach dem Tod von Anne Neville fiel die Burg an "Thomas Baynham".