新教徒（后来的威廉三世）。虽然如此，新教徒还是怕一个天主教徒会成为国王。尤其是当查理二世的王后无法怀孕后，这个恐惧逐渐上升为歇斯底里的情绪。1678年，一个圣公会的教士造谣说有一个杀查理而立詹姆斯为国王的“教宗的阴谋”，并指控詹姆斯等天主教徒涉入其中。清教徒所支持的辉格党人士，疯狂地捕杀了三十多人，并要求废除詹姆斯的王位继承权，使查理二世的王权降到最低点。为了躲开政治大风暴，1679年詹姆斯明智地离开了英格兰，暂居西属尼德兰的布鲁塞尔。1680年查理任命他为苏格兰最高委员长，他迁至爱丁堡的荷里路德宫定居。