Demi masalah keselamatan, ia menempatkan Ladislaus di bawah perwalian kerabat Habsburgnya Frederick V, yang menahannya sebagai tahanan virtual di dalam Kastil Orth dan memerintah Austria sendiri. Setelah kematian Vladislaus I di dalam Pertempuran Varna pada tanggal 10 Nopember 1444, wilayah Hongaria, meskipun dianggap bertentangan, memilih Ladislaus Yatim sebagai raja mereka dan mengirim seorang utusan ke Wina untuk membujuk Frederick untuk menyerahkan anak itu dan Mahkota Suci, yang ditolaknya. Sementara itu, Yohanes Hunyadi bertindak sebagai wali untuk Ladislaus di Hongaria, dan George dari Poděbrady melakukan kerja yang sama di Bohemia.