Jabarkan Raja dalam tahanan dari James I dari Skotlandia

James yang kini berstatus Raja Skotlandia tanpa mahkota, mulai menjalani kurun waktu 18 tahun dalam hidupnya sebagai seorang tawanan, sementara pada saat yang sama Adipati Albany beralih jabatan dari Mangkubumi menjadi Wali Negeri Skotlandia. Adipati Albany merampas lahan-lahan pusaka James serta menahan pendapatan dan tanda-tanda kebesaran yang menjadi haknya. Dalam catatan-catatan kerajaan, James hanya disebut sebagai "putra mendiang raja". James membentuk Rumah Tangga Istana Skotlandia mini yang beranggotakan Henry Sinclair, Earl Orkney, Alexander Seaton, kemenakan Sir David Fleming, dan John Sinclair saudara Earl Orkney setelah Earl Orkney pulang ke Skotlandia. Seiring berjalannya waktu, warga rumah tangga istana James—kini didanai Inggris—berganti dari orang-orang berderajat tinggi menjadi orang-orang yang kurang terpandang. Henry IV memperlakukan James muda dengan baik, dan memberinya pendidikan bermutu. Begitu cukup umur, James dijadikan warga Rumah Tangga Istana Inggris serta diberi kedudukan yang memungkinkannya untuk dapat mengamati cara Henry menjalankan dan mengendalikan pemerintahan. James memanfaatkan kunjungan-kunjungan pribadi dari para bangsawan Skotlandia dan surat-menyurat dengan tokoh-tokoh tertentu untuk mempertahankan visibilitasnya di Kerajaan Skotlandia. Segera sesudah Raja Henry IV mangkat pada 1413, putranya, Henry V, mengakhiri keleluasaan yang telah dinikmati James dengan mengurungnya di Menara London bersama tawanan-tawanan lain dari Skotlandia. Salah seorang di antaranya adalah sepupu James sendiri, Murdoch Stewart, putra Adipati Albany yang ditawan Inggris pada 1402 dalam Pertempuran Bukit Homildon. Mula-mula keduanya ditahan secara terpisah, tetapi kemudian disatukan di Menara London dan di Puri Windsor sejak 1413 sampai Murdoch Stewart dibebaskan pada 1415.

Pada 1420, kedudukan James di lingkungan istana Raja Henry V berubah pesat; ia bukan lagi dianggap sebagai seorang tawanan melainkan lebih sebagai seorang tamu. Nilai James di mata Henry V tampak jelas pada 1420, ketika ia mendampingi sang Raja Inggris ke Prancis. Kehadiran James di sisi Henry V dimanfaatkan Inggris untuk mematahkan semangat juang orang-orang Skotlandia yang ikut bertempur di pihak Prancis. Setelah kemenangan Inggris dalam peristiwa pengepungan Melun, sebuah kota kecil di sebelah tenggara kota Paris, prajurit-prajurit Skotlandia dijatuhi hukuman gantung atas dakwaan makar terhadap rajanya. James menghadiri upacara penobatan Catherine dari Valois pada 23 Februari 1421 dan mendapat kehormatan untuk duduk tepat di sebelah kiri sang permaisuri dalam perjamuan penobatan. Pada bulan Maret, Henry V melakukan kunjungan keliling ke kota-kota penting di Inggris sebagai ajang pamer kekuatan tempur, dan dalam kesempatan itu James dilantik menjadi kesatria pada Hari Santo Georgius. Pada bulan Juli, kedua raja kembali berperang bahu-membahu di Prancis. James yang jelas-jelas setuju dengan cara-cara Henry menjalankan kekuasaannya sebagai raja, tampaknya mendukung pula hasrat sang Raja Inggris untuk menduduki takhta Kerajaan Prancis. Henry menunjuk Adipati Bedford dan James menjadi senapati bersama untuk memimpin aksi pengepungan atas kota Dreux pada 18 Juli 1421. Pada 20 Agustus, garnisun yang mempertahankan kota itu akhirnya menyerah. Henry V mangkat akibat penyakit disentri pada 31 Agustus 1422, dan pada bulan September James ikut serta dalam barisan pengantar jenazah sang Raja Inggris dalam perjalan pulang ke London.

Dewan Wali Raja Henry VI yang masih kanak-kanak, berniat untuk secepatnya membebaskan James. Pada bulan-bulan pertama tahun 1423, usaha mereka untuk merampungkan urusan pembebasan James ditanggapi secara dingin oleh pemerintah kerajaan Skotlandia yang berada di bawah pengaruh keluarga Stewart Albany dan para pendukungnya. Archibald, Earl Douglas, penguasa kawasan selatan wilayah Skotlandia, adalah seorang politikus yang cerdik dan luwes, bahkan lebih berpengaruh daripada keluarga Stewart Albany. Meskipun terlibat dalam pembunuhan abang James di puri kediaman Adipati Albany pada 1402, Earl Douglas tetap mampu membina hubungan baik dengan James. Sejak 1421, Earl Douglas secara teratur menghubungi James dan akhirnya membentuk persekutuan dengannya. Persekutuan ini kelak sangat berguna pada 1423. Sekalipun Earl Douglas adalah seorang bangsawan terkemuka di Skotlandia, kedudukannya di sepanjang kawasan perbatasan dan di daerah Lothian sedang berada di ujung tanduk—ia tidak saja harus merebut kembali Puri Edinburgh secara paksa dari juru kunci puri yang ia tunjuk sendiri, tetapi juga sedang dibayang-bayangi ancaman maut dari Earl Angus dan Earl March. Sebagai ganti pengakuan James atas kedudukannya di Skotlandia, Earl Douglas mendukung upaya pemulangan James. Lagi pula, hubungan antara Murdoch Stewart, yang menggantikan mendiang ayahnya sebagai Adipati Albany pada 1420, dan Uskup William de Lauder yang ia tunjuk sendiri agak merenggang, mungkin karena terpengaruh oleh pihak-pihak yang berseberangan dengan Murdoch. Agaknya tekanan dari pihak-pihak pendukung pemulangan James berhasil memaksa Murdoch untuk menyetujui penyelenggaraan sidang umum pada bulan Agustus 1423 yang memutuskan untuk mengirim perutusan ke Inggris guna merundingkan syarat-syarat pemulangan James. Hubungan James dengan wangsa Lancaster berubah pada bulan Februari 1423, tatkala ia mempersunting Joan Beaufort, sepupu Raja Henry VI, kemenakan Thomas Beaufort, Adipati Exeter dan Henry Beaufort, Uskup Winchester. Surat perjanjian uang tebusan sebesar 40.000 Sterling (dikurangi jumlah maskawin dari pihak mempelai perempuan sebesar 10.000 Mark) disepakati di Durham pada 28 Maret 1424 dan dibubuhi mohor pribadi James. Raja dan permaisuri diarak oleh para bangsawan Inggris dan Skotlandia sampai ke Biara Melrose pada 5 April. Kedatangan mereka disongsong oleh Adipati Albany yang menyerahkan cap mohor Gubernur Skotlandia kepada raja.