Henry FitzRoy, etternavnet er fransk for «sønn av kongen», ble født i Blackmore i Essex ble oppdratt som en prins ved Sheriff Hutton Castle i Yorkshire. Hans far hadde en spesiell glede av ham og hadde stor interesse i å følge hans oppvekst. Ved et tidspunkt var det også samtaler om å gjøre ham til kongens legitime arving. Det fantes til og med en plan på å forsøke få en pavelig dispensasjon slik han skulle kunne gifte seg med sin halvsøster Mary og på den måten forene kongens legitime datter med hans illegitime sønn. Begge disse planene ble forkastet da rådgiverne påpekte at folket ikke ville akseptere dette.