Da parte di suo padre, Stafford discendeva da Edmondo di Stafford, che era stato chiamato al Parlamento come Signore Stafford nel 1299. Il secondo barone era stato creato "conte di Stafford" nel 1351. Da parte di madre, Stafford era il figlio di Anna di Gloucester, contessa di Buckingham, figlia di Thomas Woodstock (in seguito Duca di Gloucester), figlio minore di Re Edoardo III d'Inghilterra. Stafford era un sostenitore importante della Casa di Lancaster nella Guerra delle due rose, e fu ucciso nella Battaglia di Northampton nel mese di luglio 1460.