Jabarkan Pangeran dan Mangkubumi Skotlandia dari James I dari Skotlandia

James mungkin sekali lahir menjelang akhir bulan Juli 1394 di Biara Dunfermline, 27 tahun setelah perkawinan orang tuanya, Raja Robert III dan Anabella Drummond. Di Dunfermline pula James melewatkan permulaan masa kanak-kanaknya dalam asuhan ibunda. Ibunya wafat pada tahun 1401, saat James baru berumur tujuh tahun. Setahun kemudian, abangnya, David Stewart, Adipati Rothesay, juga wafat sewaktu mendekam sebagawai tawanan di puti Falkland, mungkin sekali dibunuh oleh pamannya sendiri, Robert Stewart, Adipati Albany. Pangeran James, yang kini menggantikan mendiang abangnya selaku Putra Mahkota Kerajaan Skotlandia, adalah satu-satunya penghalang bagi keluarga Stewart Albany untuk mewarisi jabatan Raja Skotlandia. Pada tahun 1402, Adipati Albany bersama sekutu dekatnya dari keluarga Douglas Hitam, yakni Archibald, Earl Douglas ke-4, dibebaskan dari segala dakwaan terkait kematian Adipati Rothesay, sehingga memuluskan jalan Adipati Albany untuk ditunjuk kembali menjadi wakil raja. Adipati Albany mengganjar dukungan Earl Douglas dengan mengizinkannya memaklumkan permusuhan terhadap Inggris. Keakraban Adipati Albany dan Earl Douglas berubah drastis pada bulan September 1402, setelah bala tentara mereka dikalahkan Inggris di Homildon, dan sejumlah besar bangsawan terkemuka beserta kawula mereka ditawan, termasuk Earl Douglas sendiri, putra Adipati Albany yang bernama Murdoch, Earl Moray, Earl Angus, dan Earl Orkney. Selain Adipati Rothesay, pada tahun yang sama wafat pula Alexander Leslie yang bergelar Earl Ross, dan Malcolm Drummond yang bergelar Earl Mar. Jabatan-jabatan yang mereka tinggalkan diisi kembali dengan orang-orang yang kurang cakap dan belum pernah berkiprah di gelanggang politik. Antara 1402 sampai 1406, daerah kekuasaan Earl Ross, Earl Moray, dan Earl Mar di kawasan utara wilayah Skotlandia tidak dipimpin orang dewasa, dan tanpa Murdoch Stewart, wakil raja untuk wilayah Skotlandia di sebelah utara Sungai Forth, yang kini mendekam dalam tahanan Inggris, Adipati Albany pun terpaksa membentuk persekutuan dengan saudaranya, Alexander Stewart, Earl Buchan, beserta putra Earl Buchan yang juga bernama Alexander demi meredam ambisi Yamtuan Pulau-Pulau. Ketiadaan Earl Douglas di pangkalan kekuatannya di Lothian dan Mancanegara Skotlandia dimanfaatkan oleh sekutu-sekutu Raja Robert, yakni Henry Sinclair, Earl Orkney dan Sir David Fleming dari Biggar, untuk menonjolkan diri sebagai kekuatan politik utama di wilayah itu.

Pada bulan Desember 1404, sang raja menganugerahkan lahan-lahan milik wangsa Stewart di kawasan barat, di Ayrshire, dan di sekitar Firth of Clyde, kepada James sebagai daerah regalitas agar lahan-lahan itu terlindung dari campur tangan asing dan sewaktu-waktu dapat dijadikan pangkalan kekuatan tempur sang pangeran bilamana diperlukan. Meskipun demikian, pada 1405, James bernaung di bawah perlindungan dan asuhan Uskup Henry Wardlaw dari Saint Andrews di pesisir timur Skotlandia. Earl Douglas semakin gusar ketika Earl Orkney dan Sir David Fleming semakin berani campur tangan dalam urusan pemerintahan daerah perbatasan dan menjalin hubungan baik dengan Inggris. Meskipun pada musim dingin 1405-1406, telah diputuskan untuk memberangkatkan sang pangeran muda ke Prancis agar menjauhkannya dari jangkauan Adipati Albany, waktu keberangkatannya belum juga dipastikan. Pada bulan Februari 1406, Uskup Wardlaw menyerahkan James kepada Orkney dan Fleming yang mengawal sang pangeran melintasi kawasan timur Lothian, daerah kekuasaan Earl Douglas, diiringi sepasukan besar kawula mereka dari Lothian. Para bangsawan pelindung James mungkin telah mengeluarkan persetujuan kerajaan kepada Orkney dan Fleming untuk meluaskan kekuasaan mereka ke daerah kekuasaan Earl Douglas. Tindakan ini menuai perlawanan bersenjata dari James Douglas dari Balvenie yang bersama para kawulanya maju menggempur dan berhasil menewaskan Fleming di suatu tempat bernama Long Hermiston Muir. Orkney dan James berhasil lolos dan membawa James berlindung di Bass Rock, sebuah pulau kecil yang relatif lebih aman di Firth of Forth. Mereka bertahan hidup selama sebulan lebih di Bass Rock sebelum akhirnya menumpangi kapal Maryenknyght yang bertolak dari Danzig dengan tujuan Prancis. Pada 22 Maret 1406, kapal yang mereka tumpangi direbut dengan aksi pembajakan oleh sebuah kapal Inggris. Salah seorang pemilik kapal penyerang adalah anggota parlemen merangkap pegawai istana, Hugh Fenn. Akibatnya, James menjadi tawanan Raja Inggris, Henry IV. Raja Robert III sedang berada di Puri Rothesay tatkala menerima warta penangkapan putranya. Tak lama kemudian, pada 4 April 1406, Robert III mangkat dan dimakamkan di biara yang didirikan wangsa Stewart di Paisley.