A James, quale "Signore di Douglas", succedette il figlio naturale William Douglas, IV Signore di Douglas (morto 1333), ma egli non riuscì mai ad essere davvero padrone di tutti i suoi titoli e le sue terre, probabilmente perché era ancora minorenne quando morì ad Halidon Hill insieme allo zio. Il nuovo "Signore di Douglas" fu Hugh the Dull, Signore di Douglas un canonico che serviva nel vescovado di Glasgow e che deteneva una prebenda presso Roxburgh, il titolo gli venne dato nel 1342, ma egli lo passò immediatamente al nipote William Douglas, I conte di Douglas, figlio di Archibald, che divenne il primo Conte di Douglas. A William succedette il primogenito James Douglas, II conte di Douglas, mentre il suo figlio illegittimo George Douglas, I conte di Angus (1380-1403) fu il capostipite dei "Red Douglas" che presero il titolo di Conte di Angus. James contribuì fortemente ad accrescere il prestigio della famiglia sposando la pronipote di Robert Bruce, Isabella Stuart, figlia di Roberto II di Scozia.