George var en sønn av William Douglas, 2. jarl av Angus, og hans hustru, Margaret Hay av Yester. Han etterfulgte sin bror James som i 1446.