トマス・スタンリー (初代ダービー伯爵)
しかし、王妃エリザベス・ウッドヴィルの一族とは仲が悪く、イングランド北部へ進出して勢力拡大を図るグロスター公とも対立しており、1472年にエレノアが死去した後にマーガレット・ボーフォートと再婚しているなどランカスター派とも繋がっていた。
1483年6月13日、エドワード5世に対してクーデターを起こしたグロスター公によってヘイスティングス男爵ウィリアム・ヘイスティングスと共に捕らえられ(ヘイスティングス男爵は処刑)、ロンドン塔へ投獄された時も、北西部を敵に回すことを避けたグロスター公の判断ですぐに釈放されている。王室家政長官に留め置かれガーター勲章も与えられてリチャード3世の支持者として活動しながらも、マーガレットがバッキンガム公ヘンリー・スタッフォードを通して継子ヘンリー・テューダー(後のヘンリー7世)を王位につけようとする陰謀が発覚すると、リチャード3世を支持して反乱鎮圧に貢献し妻の助命を嘆願、処刑されたバッキンガム公の領地を与えられ大司馬にも就任、マーガレットの赦免も勝ち取り、リチャード3世から軍事力を当てにされながらランカスター派との繋がりを保った。