Amikor a rózsák háborújában IV. Eduárd király a Lancaster-család tagjait sorra kivégeztette vagy száműzte, a fiatal Henriket nagybátyja, Pembroke gróf mentette meg a király bosszújától. Henrik II. Ferenc bretagne-i herceg udvarába menekült, aki őt Eduárd király fenyegetései dacára sem szolgáltatta ki. Amikor azután III. Richárd zsarnok uralma következtében az angolok gyűlölete a York-házzal szemben egyre nagyobb arányokat öltött, a Lancaster-párt hívei elsősorban a fiatal richmondi grófba vetették bizalmukat, aki anyai ágon a Lancasterek birtokaira és örökségére és így a trónra is jogos igényt tartott.