Han døde gift men barneløs i 1761, på hvilket tidspunkt Hertugdømmet av Douglas (og titlene som ble opprettet sammen med det) døde ut, mens Markiet av Douglas, begge Jarledømmene av Angus samt Lordskapet av Abernethy og Jedburgh Forest gikk til hans tremenning to ganger fjernet og mannlige arving, James Hamilton, 7. hertug av Hamilton.