Forholdet til Elizabeth ble viktig for kongen, som bevis på at han var i stand til å produsere en mannlig arving. På et tidspunkt før sønnen Edward ble født ser det ut til at han planla å anerkjenne Henry FitzRoy, og utnevne gutten til hertug av Richmond og Somerset.