幼少期は兄共々国王ヘンリー6世の寵臣であるサフォーク伯ウィリアム・ド・ラ・ポールの姉妹でバーキング女子修道院長キャサリン・ド・ラ・ポールに引き取られ、成長するとヘンリー6世の異父弟として1452年にペンブルック伯に叙せられた（兄もリッチモンド伯に叙爵）。不確実ではあるが彼らは合法的な「元王妃の子」であるため、ヘンリー6世の庇護の下で王族としての特典を享受し、薔薇戦争ではヘンリー6世を助けてヨーク派と戦うことになる。1455年の第一次セント・オールバンズの戦いにランカスター派として参戦、西部のウェールズを抑え王妃マーガレット・オブ・アンジューと結託してヨーク派と対立した。