Da han ble født hadde foreldrene allerede mistet to sønner. Den nyfødte hertug av Rothesay og hans far var i James Stewarts levetid de eneste legitime etterkommerne (som fortsatt var i live) etter hans farfar Jakob IV av Skottland. «Heir presumptive» siden 1536 var hans tremenning James Hamilton, 2. jarl av Arran.