След Реставрацията Джеймс заема различни военни постове, включително Лорд-адмирал. През 1666 г. ръководи гасенето на големия пожар в Лондон. През 1673 г. той открито се противопоставя на решението на парламента католиците да бъдат отстранени от административни постове. През 1677 г. Джеймс неохотно дава съгласието си голямата му дъщеря Мери да сключи брак с протестанта Уилям Оранжки. Тъй като крал Чарлз II няма наследник, антикатолическите настроения в страната се засилват, като между 1678 и 1681 г. се превръщат в истерия (виж Папски заговор). През 1679 г. Вигите в Парламента се опитват да изключат Джеймс от реда на наследяване на короната (т.нар „Криза на изключването“, ), но опитът се проваля след като Чарлз разпуска парламента.