Stafford ble født inn i en adelsfamilie som var stolte av å nedstamme fra Thomas av Woodstock, den femte sønn av Edvard III. Han var således i slekt med den engelske kongefamilien på en rekke måter, både på farssiden som morssiden; det sies om ham at hans slektstre er et slikt sammensurium at han ender opp som sitt eget søskenbarn flere ganger. Hans mulighet til å arve tronen var i utgangspunktet meget liten, men gjennom rosekrigene kom han til slutt i nærhet av å selv bli konge. Noe historikere mener at han allerede under Edvard IV begynte å tenkte på å kreve tronen, og i så fall stod han bak en lang og komplisert plan som nesten lyktes.