だがエクセター公も常勝将軍だったわけではなく、タウトンの戦い（1461年）ではランカスター派の指揮官として大敗している。彼は戦後スコットランドに逃げて、後に同じく追放された王妃マーガレット・オブ・アンジューとフランスで合流している。エクセター公は訴追され、財産と所領は全て別居中の妻の物となったが、1470年のヘンリー6世の短い復位期間にエクセター公は地位と財産の多くを取り戻すことができた。