Джеймс е вторият оживял син на крал Чарлз I и Хенриета Мария, роден на 14 октомври 1633 г. Образованието си получава заедно с по-големия си брат Чарлз от частни учители. По рождение носи титлата херцог на Йорк. По време на Английската революция (1642-1651) той придружава баща си в сраженията, но след като кралят е заловен, се укрива в роялисткия Оксфорд до 1646 г., след което е заловен на свой ред и затворен в двореца Сейнт Джеймс. Успява да избяга през 1648 г., преоблечен в женски дрехи и заминава за Франция, където постъпва в армията под командването на Анри дьо Тюрен и участва в битки с Фрондата и с испанците. През 1652 г. е произведен в чин и командва ирландски полк. Междувременно брат му Чарлз се обръща към Испания за подкрепа да си върне трона (Франция е заела страната на Кромуел) и като последица Джеймс е прогонен от Франция и се установява в Брюж. Без пари и подкрепа е принуден да постъпи отново в армията, този път испанската във Фландрия, под командването на Луи II дьо Конде. Застава начело на шест полка английски доброволци и участва в Битката при дюните срещу довчерашните си френски другари. След сключването на мир през 1659 г. той известно време обмисля да продължи военната си служба при испанците, но в крайна сметка се отказва. По време на живота си в изгнание Джеймс започва да възприема католицизма, но пази това в тайна.