ในฐานะคนของฝ่ายแลงคัสเตอร์ ดยุคแห่งบักกิงแฮมไม่มีอำนาจใดๆ ได้ในช่วงที่พระเจ้าเอ็ดเวิร์ดที่ 4 ครองบัลลังก์ ดยุคแห่งบักกิงแฮมกับภรรยาถูกเลี้ยงดูในครัวเรือนของพระราชินี ยกเว้นในช่วงที่ฝ่ายแลงคัสเตอร์ยึดบัลลังก์กลับคืนมาได้เป็นเวลาสั้นๆ ในช่วงปี ค.ศ. 1470-71 ซึ่งเขาได้ย้ายไปอยู่กับย่า เมื่อพระเจ้าเอ็ดเวิร์ดที่ 4 กลับมาจากการถูกเนรเทศเพื่อกอบกู้บัลลังก์กลับคืนมา ดยุคแห่งบักกิงแฮมอยู่เคียงข้างพระองค์จนฝ่ายยอร์กได้รับชัยชนะที่บาร์เน็ตและทิวก์ส์บรีจนได้รับตำแหน่งมากมายเป็นรางวัลตอบแทนความจงรักภักดี ดยุคยังคงเป็นผู้สนับสนุนที่ภักดีของฝ่ายยอร์กแม้ว่าบิดาและปู่ของเขาจะถูกสังหารโดยฝ่ายยอร์ก และไม่เคยแสดงออกว่าไม่พึงพอใจในตัวเจ้าสาวที่ถูกจับสมรสกันตั้งแต่ยังเด็ก