James I dari Skotlandia
James yang kini berstatus Raja Skotlandia tanpa mahkota, mulai menjalani kurun waktu 18 tahun dalam hidupnya sebagai seorang tawanan, sementara pada saat yang sama Adipati Albany beralih jabatan dari mangkubumi menjadi Gubernur Skotlandia. Adipati Albany merampas lahan-lahan pusaka James serta menahan pendapatan dan tanda-tanda kebesaran yang menjadi haknya. Dalam catatan-catatan kerajaan, James hanya disebut sebagai "putra mendiang raja". James membentuk Rumah Tangga Istana Skotlandia mini yang beranggotakan Henry Sinclair, Earl Orkney, Alexander Seaton, kemenakan Sir David Fleming, dan John Sinclair saudara Earl Orkney setelah Earl Orkney pulang ke Skotlandia. Seiring berjalannya waktu, warga rumah tangga istana James—kini didanai Inggris—berganti dari orang-orang berderajat tinggi menjadi orang-orang yang kurang terpandang. Henry IV memperlakukan James muda dengan baik, dan memberinya pendidikan bermutu. Begitu cukup umur, James dijadikan warga Rumah Tangga Istana Inggris serta diberi kedudukan yang memungkinkannya untuk dapat mengamati cara Henry menjalankan dan mengendalikan pemerintahan. James memanfaatkan kunjungan-kunjungan pribadi dari para bangsawan Skotlandia dan surat-menyurat dengan tokoh-tokoh tertentu untuk mempertahankan visibilitasnya di Kerajaan Skotlandia. Segera sesudah Raja Henry IV mangkat pada 1413, putranya, Henry V, mengakhiri keleluasaan yang telah dinikmati James dengan mengurungnya di Menara London bersama tawanan-tawanan lain dari Skotlandia. Salah seorang di antaranya adalah sepupu James sendiri, Murdoch Stewart, putra Adipati Albany yang ditawan Inggris pada 1402 dalam Pertempuran Bukit Homildon. Mula-mula keduanya ditahan secara terpisah, tetapi kemudian disatukan di Menara London dan di Puri Windsor sejak 1413 sampai Murdoch Stewart dibebaskan pada 1415.
Pada 1420, kedudukan James di lingkungan istana Raja Henry V berubah pesat; ia bukan lagi dianggap sebagai seorang tawanan melainkan lebih sebagai seorang tamu. Nilai James di mata Henry V tampak jelas pada 1420, ketika ia mendampingi sang Raja Inggris ke Perancis. Kehadiran James di sisi Henry V dimanfaatkan Inggris untuk mematahkan semangat juang orang-orang Skotlandia yang ikut bertempur di pihak Perancis. Setelah kemenangan Inggris dalam peristiwa pengepungan Melun, sebuah kota kecil di sebelah tenggara kota Paris, prajurit-prajurit Skotlandia dijatuhi hukuman gantung atas dakwaan makar terhadap rajanya. James menghadiri upacara penobatan Catherine dari Valois pada 23 Februari 1421 dan mendapat kehormatan untuk duduk tepat di sebelah kiri sang permaisuri dalam perjamuan penobatan. Pada bulan Maret, Henry V melakukan kunjungan keliling ke kota-kota penting di Inggris sebagai ajang pamer kekuatan tempur, dan dalam kesempatan itu James dilantik menjadi kesatria pada Hari Santo Georgius. Pada bulan Juli, kedua raja kembali berperang bahu-membahu di Perancis. James yang jelas-jelas setuju dengan cara-cara Henry menjalankan kekuasaannya sebagai raja, tampaknya mendukung pula hasrat sang Raja Inggris untuk menduduki takhta Kerajaan Perancis. Henry menunjuk Adipati Bedford dan James menjadi senapati bersama untuk memimpin aksi pengepungan atas kota Dreux pada 18 Juli 1421. Pada 20 Agustus, garnisun yang mempertahankan kota itu akhirnya menyerah. Henry V mangkat akibat penyakit disentri pada 31 Agustus 1422, dan pada bulan September James ikut serta dalam barisan pengantar jenazah sang Raja Inggris dalam perjalan pulang ke London.