Moray era hijo ilegítimo de Jacobo V de Escocia y Lady Margaret Erskine, hija de John Erskine.