برج لندن
عند موت روبرت في أبريل 1406 أصبح جيمس الملك ولكن بشكل اسمي، حيث ظل معتقلا في إنكلترا، وتمت إدارة الحكومة من قبل عمه روبرت دوق ألباني الذي لم يظهر أي قلق عن عملية تحرير ابن أخيه، ومات روبرت عام 1420 وتبعه كوصي ابنه موردوخ. احتجز جيمس في البداية في البداية في برج لندن ولكن في يونيو 1407 نقل إلى قلعة نوتنغهام، وبعد شهر نقل إلى إيفزهام. عندما تولى هنري الخامس عرش إنكلترا في مارس 1413 أرجع جيمس على برج لندن ولكنه أخذ بعدها إلى ويندسور حيث عومل احترام كبير من قبل الملك الإنكليزي.