ג'יימס היה בנם של ג'יימס הרביעי, מלך סקוטלנד, ומרגרט טיודור, אחותו של הנרי השמיני, מלך אנגליה. נולד בתחילת חודש אפריל 1512 (תאריך הלידה המדויק אינו ידוע) בארמון לינלית'גו, במערב לות'יאן. עוד בהיותו פעוט נהרג אביו בקרב פלודן, ב-9 בספטמבר 1513.