尼公爵罗伯特发生争执后，突然神秘死亡，据说是在某监狱中活活饿死。罗伯特三世开始担心年幼的继承人詹姆斯的安危，计划送他到盟友国法国暂避。1406年初，他被秘密安排出行。但是阿尔巴尼公爵获悉了行踪，派出军队追击王太子。11岁的詹姆斯和他的几个随从被迫在福斯湾的一块大礁石上困居了一个月，才有船来将他接走。但是这艘船的动向也被透露给了英格兰，结果坐船在驶往法国的途中被英格兰战舰抓获，并向苏格兰索要赎金。罗伯特三世闻讯后悲痛而死，弟弟阿尔巴尼公爵摄政，但是拒绝支付赎金救回詹姆斯。于是詹姆斯被亨利四世关押于温莎城堡