Sin embargo, cuando la guerra estalló nuevamente entre Inglaterra y Francia, Archibald Douglas, VI conde de Angus, padrastro del joven monarca, expulsó a Albany, manteniendo confinado a Jacobo en el castillo de Edimburgo.