Han var sønn av Jakob I og Joan Beaufort. Jakob hadde en tvillingbror, Alexander som ble født før ham og dermed var tronarving. Alexander ble adlet som hertug av Rothesay, men døde som spedbarn. Jakob II var selv far til Jakob III, som etterfulgte ham på tronen. Han hadde kallenavnet «Fiery face» på grunn av et svært synlig, rødt fødselsmerke i ansiktet. Hans seks søstre ble inngiftet i forskjellige europeiske fyrstehus.