多追随者也都放弃了他，以致在爱尔兰获得了“屎詹姆斯”（"Séamus á Chaca"）的称号。詹姆斯此后住在法国的圣日耳曼昂莱城堡，1696年有人企图刺杀威廉三世让他重返王位，但没有成功。同年路易十四推举他为波兰国王。但詹姆斯拒绝了，因为他怕再接受波兰王位后，就与英国国王宝座绝缘了。这使得路易十四很不高兴，此后路易也不支持詹姆斯了。1697年路易十四甚至与威廉签署了一个条约正式中止了双方的敌对。此后詹姆斯至死都似一个严格的忏悔者一般，也葬在他一直居住的圣日耳曼昂莱。
后事.1