Después de la Batalla de Alfarrobeira (1449), en la cual su padre fue derrotado y muerto, Jaime, contando con apenas catorce años, fue apresado por las huestes de Alfonso V el Africano, consiguiendo escapar después, con sus hermanos Juan y Beatriz, hacia Flandes, donde obtuvo el apoyo de su tía Isabel, Duquesa de Borgoña.