皇党的基地牛津暂避。1646年牛津被克伦威尔攻克后他被监禁在圣詹姆斯宫。1648年他逃离詹姆斯宫逃到荷兰海牙。1649年查理一世被共和党人处死后，保皇党人立詹姆斯的哥哥为查理二世。但查理二世被奥利弗·克伦威尔击败后被迫逃亡。詹姆斯逃亡法国，他加入了法国军队，1656年查理与英国的敌人西班牙同盟后他又加入了西班牙军队。他的上级军官对他的评价都非常好。1660年克伦威尔死后查理二世重返英国，詹姆斯随同他一起回到英国。虽然他在王位继承的顺序上居第一位，但当时他真的继承王位的可能不大，因为查理当时还是一个年