1399年，罗伯特三世由于身体不适，任命其长子罗撒西公爵为苏格兰军队指挥。但是大卫与罗伯特三世的弟弟奥尔巴尼公爵发生争执，于1402年神秘死亡。罗伯特三世闻讯后，开始担心自己的幼子詹姆斯的安危，于是决定将他送去法国避祸。1406年初，詹姆斯坐船前往法国途中，由于有人告密而被英格兰军队捕获，被扣做人质索要赎金。罗伯特三世得知消息后悲痛欲绝，据说从此一病不起，很快逝世。他的幼子詹姆斯虽然是名义上的合法继承人，但是此后被英格兰扣留长达18年，苏格兰政权重新落入摄政贵族之手。罗伯特三世要求自己的墓志铭