Nel 1513 sul trono inglese sedeva Enrico VIII d'Inghilterra già da quattro anni e quando questi si unì alla Guerra della Lega di Cambrai la Scozia dovette partire per supportare la Francia contro l'Inghilterra, di nuovo a capo di una flotta James andò contro Carrickfergus, nell'Ulster, dove risiedeva la più grande fortezza inglese della regione. Da lì le navi salparono verso la Francia e non fecero in tempo a rientrare per sostenere l'esercito scozzese che, nel frattempo, aveva subito una pesante disfatta alla Battaglia di Flodden Field in cui lo stesso Giacomo IV morì. Al trono salì Giacomo V di Scozia di appena un anno e James si oppose con forza al secondo marito di Margherita Archibald Douglas, VI conte di Angus che aveva assunto la Reggenza, così come si oppose al reggente successivo, John Stewart, in ogni caso fra il 1517 e il 1520 mentre Stewart era spesso assente James presiedette il consiglio di reggenza.