Stuart ble med tiden en av sin tids rikeste kirkefyrster ettersom han fikk flere innkomstbringende kirkelige embeder i Frankrike, Spania og Latin-Amerika. Ved farens død i 1766 klarte han imidlertid ikke å få pave Klemens XIII til å anerkjenne broren som legitim konge over Storbritannia. Da broren døde hevdet han sin arverett til tronen og kalte seg Henry IX.