Under reisen til Frankrike ble prinsen tatt til fange av engelskmennene, og overlevert til Henrik IV. Den engelske kongen krevde en løsesum for ham. Robert III skal etter sigende ha dødd av sorg over at sønnen ble tatt. Da Robert døde ble hans bror Robert Stewart, 1. hertug av Albany regent. Han skyndte seg overhodet ikke med å betale løsepengene for sin nevø. Han var dog rask med å sikre løslatelsen av sin sønn Murdoch, som hadde blitt tatt til fange under slaget ved Homildon Hill. Jakob ble sittende i fangenskap i England de neste atten årene. Henrik IV lot ham få rimelig gode forhold, blant annet på Windsor Castle og forskjellige herregårder utenfor London. Gutten fikk også en utdannelse mens han satt i fangenskap. Forskere mener at han i den perioden skrev verket , en allegorisk romanse som regnes som et av de tidligste store verker i skotsk litteratur.