造谣说有一个杀查理而立詹姆斯为国王的“教宗的阴谋”，并指控詹姆斯等天主教徒涉入其中。清教徒所支持的辉格党人士，疯狂地捕杀了三十多人，并要求废除詹姆斯的王位继承权，使查理二世的王权降到最低点。为了躲开政治大风暴，1679年詹姆斯明智地离开了英格兰，暂居西属尼德兰的布鲁塞尔。1680年查理任命他为苏格兰最高委员长，他迁至爱丁堡的荷里路德宫定居。在英格兰，许多有权势的国会议员企图取消詹姆斯的继承权。有人甚至愿意让查理的新教徒私生子蒙默斯公爵登上王位。1679年，当取消詹姆斯王位的法令几乎要通过国会时，查理宣布