其母伊丽莎白·布伦特是亨利八世的王后阿拉贡的凯瑟琳的侍女，而其父就是时年27岁的亨利八世本人。布伦特珠胎暗结之时凯瑟琳王后即将临盆，但这个女儿最终于1518年11月夭折。亨利八世在妻子怀孕期间常有寻花问柳的举动。事发之后为了避免丑闻外扬，布伦特被送往埃塞克斯郡布莱克摩尔的圣劳伦斯奥斯定会修道院。菲茨罗伊生日的官方记录为1519年6月15日，但这一说法不足采信。 作为私生子，他的出生曾被隐瞒，因此其生日很有可能在6月15日以前。史料记载1519年6月19日－6月29日亨利八世的宠臣红衣主教托马斯·沃尔西曾