Stafford blev gift med Lady Margaret Beaufort, datter af Edmund Beaufort, 2. hertug af Somerset og Lady Eleanor Beauchamp. Lady Margaret var søster til Henry Beaufort, 3. hertug af Somerset (henrettet 15. maj 1464, efter Slaget ved Hexham) og Edmund Beaufort, 4. hertug af Somerset (henrettet 6. maj 1471 efter Slaget ved Tewkesbury). Hendes morfar og mormor var Richard Beauchamp, 13. jarl af Warwick og hans første hustru Elizabeth Berkeley. På sin fars side var hun en niece af Joan Beaufort, dronningen af Skotland og fætter til Lady Margaret Beaufort (mor til kong Henrik 7.). På sin mors side var lady Margaret niece af Anne Beauchamp, 16. grevinde af Warwick og som sådan kusine til Isabel, hertuginde af Clarence, og dronning Anne Neville.