他到盟友国法国暂避。1406年初，他被秘密安排出行。但是阿尔巴尼公爵获悉了行踪，派出军队追击王太子。11岁的詹姆斯和他的几个随从被迫在福斯湾的一块大礁石上困居了一个月，才有船来将他接走。但是这艘船的动向也被透露给了英格兰，结果坐船在驶往法国的途中被英格兰战舰抓获，并向苏格兰索要赎金。罗伯特三世闻讯后悲痛而死，弟弟阿尔巴尼公爵摄政，但是拒绝支付赎金救回詹姆斯。于是詹姆斯被亨利四世关押于温莎城堡内，达18年之久。但是他从1406年起就是苏格兰名义上的君主。1420年，阿尔巴尼公爵去世，苏格兰王国同意支付