James Douglas' sønn Sir William Douglas arvet familieeiendommene, overlevde faren med tre år før han ble slaktet i slaget ved Halidon Hill 19. juli 1333 av engelskmennene. Hans onkel Archibald Douglas var nærmeste slektning og overlevde nevøen i en time før han ble drept i det samme slaget. Det var derfor Archibalds sønn William som ble den første jarlen av Douglas i 1358, og deretter også jarl av Mar gjennom ekteskap. I 1388 ble han drept i slaget ved Otterburn og den andre linjen etter Svart-Douglas døde ut.