Det er usikkert om Karl II faktisk var hans far, da Lucy Walter hadde et meget dårlig rykte. På den annen side ble det også hevdet at hun hadde vært gift i hemmelighet med prinsen, noe som ville gjort hertugen til hans ektefødte barn og dermed til tronarving. Karl anerkjente James som sin sønn, men utnevnte han ikke til arving. Etter a ha tatt tronen giftet han seg med Katarina av Braganza; Lucy Walter hadde dødd før dette tidspunktet. I 1663 ble James hentet til England, hvor han fikk tittelen hertug av Monmouth. Han giftet seg med Anne Scott, 4. grevinne av Buccleuch. James hadde ingen spesielle lederegenskaper, men var populær blant folket. Dette skyldte ikke minst at han var protestant, mens tronarvingen, James, hertug av York, var katolikk.