La permanenza a Madrid durò pochi mesi, perché in seguito Giacomo si trasferì a Bruges, dove lo accolsero la sorella Maria Enrichetta, sposa dello "statolder" d'Olanda Guglielmo II d'Orange, e il fratello minore Enrico, duca di Gloucester. Presso Bruges si unì alle truppe spagnole al comando del Principe di Condé e di don Giovanni d'Austria contro le truppe di Turenne; nella battaglia delle Dune, combattuta dalla Spagna contro Francia e Province Unite nel 1658, a Giacomo fu affidato il comando di un contingente di soldati inglesi fedeli alla causa realista. La battaglia, risoltasi in un disastro per le truppe iberiche, portò alla firma di un trattato di pace fra Spagna e Francia. Fu in questi anni che Giacomo fece la conoscenza di due cattolici irlandesi facenti parte del seguito reale in esilio, Peter e Richard Talbot, che contribuirono ad avvicinarlo alla fede cattolica.