Sir William Douglas, hijo natural de James Douglas, heredó el título de Señor de Douglas pero no recibió sus propiedades, posiblemente porque todavía era menor de edad. Murió en la Batalla de Halidon Hill con su tío Sir Archibald Douglas. El hermano menor de James, Hugh “El Tonto”, un canónigo del obispado de Glasgow y que disfrutaba de una pensión en Roxburgh, se convirtió en Señor de Douglas en 1342; Hugh Douglas renunció a su título en su sobrino, el hijo superviviente y más joven del Regente Archibald, William Douglas, que también se convirtió en el primer Conde de Douglas. Le sucedió su hijo James Douglas, que comenzó el linaje de los “Douglas Negros”; su hijo ilegítimo contrajo matrimonio con Margaret Stewart, Condesa de Angus, y su nieto George Douglas, Conde de Angus, fue el progenitor de los “Douglas Rojos”.