เฮนรี สตาฟฟอร์ด เกิดเมื่อวันที่ 4 กันยายน ค.ศ. 1455 โดยเป็นบุตรชายของฮัมฟรีย์ สตาฟฟอร์ด เอิร์ลแห่งสตาฟฟอร์ด กับมาร์กาเร็ต โบฟอร์ด บิดาของเฮนรีเป็นผู้สนับสนุนฝ่ายแลงคัสเตอร์ในช่วงแรกของสงครามดอกกุหลาบและถึงแก่กรรมก่อนบิดาของตนในปี ค.ศ. 1458 จากบาดแผลที่ได้มาจากยุทธการที่เซนต์ออลบันส์ครั้งที่ 1 ขณะต่อสู้ให้พระเจ้าเฮนรีที่ 6 เฮนรีจึงกลายเป็นผู้สืบทอดตำแหน่งดยุคแห่งบักกิงแฮมของฮัมฟรีย์ สตาฟฟอร์ด ดยุคที่ 1 แห่งบักกิงแฮมผู้เป็นปู่ที่ภักดีต่อฝ่ายแลงคัสเตอร์เช่นกันและถูกสังหารในยุทธการที่นอร์แธมป์ตันเมื่อวันที่ 10 กรกฎาคม ค.ศ. 1460 พระเจ้าเอ็ดเวิร์ดที่ 4 กษัตริย์จากราชวงศ์ยอร์กรีบเอาตัวเฮนรีมาอยู่มาอยู่ในการอุปถัมป์ เด็กน้อยได้กลายเป็นเด็กในอุปถัมป์คนสำคัญของกษัตริย์ ขุนนางหลายคนอยากให้ธิดาของตนได้สมรสกับเฮนรี เพื่อให้ได้ตำแหน่งขุนนางเจ้าของที่ดินที่ยิ่งใหญ่ที่สุดตำแหน่งหนึ่งมาเป็นส่วนหนึ่งของตระกูลตน