开始与亨利·博福特和敌对起来。同时，他的妹夫和他最大的同父异母的弟弟约翰·博福特仍然是他最大的支持者，尽管亨利撤销了理查德二世给予约翰一个侯爵称号。 托马斯·斯温福德是凯瑟琳与第一任丈夫休·斯温福德爵士所生的儿子，他是亨利的另一位忠实伙伴。托马斯是庞特弗雷特城堡的警卫，而理查德二世国王据说死在了那里。亨利的父亲与凯瑟琳·斯温福德所生的女儿是爱德华四世和理查三世的外祖母。琼嫁给了第一代威斯特摩兰伯爵拉尔夫·内维尔。他们的女儿塞西莉嫁给了第三代约克公爵理查·金雀花，其所生育的孩子中，包括爱德华四世和理查三世