Han ble født på Edinburgh Castle, og var sønn av Robert III av Skottland og Annabella Drummond. I 1402 sultet hans eldre bror David ihjel, eller ble myrdet, i fengsel i Falkland. Før farens død i 1406 ble han sendt til Frankrike av hensyn til sin sikkerhet.