Внук Ральфа Стаффорда, Томас Стаффорд, 5-й граф Стаффорд, породнился с королевской семьёй, женившись на Анне Глостер, дочери Томаса Вудстока, герцога Глостер. Благодаря этому браку его сын, Хамфри Стаффорд, 6-й граф Стаффорд, получил часть обширных земельных владений Томаса Вудстока, а также титул графа Бекингема (а в 1444 году — и герцога Бекингем) и верховного констебля Англии. Хамфри принимал активное участие в Столетней войне, а после начала войны Алой и Белой розы оказался на стороне Ланкастеров. Он погиб в 1460 году. Поскольку старший сын Хамфри умер раньше, то ему наследовал малолетний внук, Генри Стаффорд, который в отличие от деда оказался на стороне Йорков. Генри принимал активное участие в возведении на престол короля Ричарда III, однако вскоре восстал против него. Восстание оказалось неудачным, в результате чего Генри был обезглавлен, а его владения и титулы — конфискованы.