改由堂叔（曾祖父詹姆斯二世之孙）继任摄政之职。不久，其继父第六代安冈斯伯爵阿奇博尔德·道格拉斯起兵驱逐奥尔巴尼公爵，将詹姆斯五世软禁于爱丁堡直至他于1528年亲政为止。因为安冈斯伯爵背后有英王亨利八世支持，所以詹姆斯成年后颇为厌恶英格兰。詹姆斯五世与法国结盟共同对抗英格兰，并因老同盟的关系与法国瓦卢瓦王朝联姻，于1537年娶了法国国王法兰索瓦一世与第一任妻子布列塔尼女公爵克洛德的女儿玛德琳结婚。可惜玛德琳只做了数个月的皇后便逝世。1538年6月12日，詹姆斯五世再迎娶了法国王室贵族吉斯公爵弗朗索瓦·德·