福斯湾的一块大礁石上困居了一个月，才有船来将他接走。但是这艘船的动向也被透露给了英格兰，结果坐船在驶往法国的途中被英格兰战舰抓获，并向苏格兰索要赎金。罗伯特三世闻讯后悲痛而死，弟弟阿尔巴尼公爵摄政，但是拒绝支付赎金救回詹姆斯。于是詹姆斯被亨利四世关押于温莎城堡内，达18年之久。但是他从1406年起就是苏格兰名义上的君主。1420年，阿尔巴尼公爵去世，苏格兰王国同意支付赎金。英格兰国王亨利五世逝世后，英苏两国和谈。作为协议的一部分，詹姆斯被释放，带着自己的新婚英格兰妻子琼（国王亨利六世的堂姑），返回苏格兰