世是詹姆斯四世唯一的子嗣，出生后翌日即被封为罗撒西公爵及苏格兰王子。詹姆斯五世出生后17个月的1513年9月21日，在其父于弗罗敦原野战役战死之后在斯特灵城堡即位为苏格兰国王，由其母玛格丽特·都铎摄政。次年，玛格丽特·都铎改嫁后，改由堂叔（曾祖父詹姆斯二世之孙）继任摄政之职。不久，其继父第六代安冈斯伯爵阿奇博尔德·道格拉斯起兵驱逐奥尔巴尼公爵，将詹姆斯五世软禁于爱丁堡直至他于1528年亲政为止。因为安冈斯伯爵背后有英王亨利八世支持，所以詹姆斯成年后颇为厌恶英格兰。詹姆斯五世与法国结盟共同对抗英格兰，