Nach seinem Tod auf dem Kreuzzug in Spanien erbte sein Neffe William Douglas den Familienbesitz und erhielt zusätzlich 1358 den Titel eines Earl of Douglas vom neuen König David II. Williams Sohn James Douglas, 2. Earl of Douglas, fiel 1388 im Kampf gegen die Engländer. Er hinterließ zwei Bastardsöhne: William Douglas, Lord of Drumlanrig (von dem die spätere Linie der Earls, Marquesses und Dukes of Queensberry abstammt) sowie Archibald Douglas (Stammvater der Linie "Douglas of Cavers"). Der Titel des Earl of Douglas ging hingegen auf einen Cousin seines Vaters über, Archibald Douglas, 3. Earl of Douglas, seinerseits ein Bastardsohn des „Schwarzen Douglas“. Archibalds Macht übertraf später die des gelähmten Königs Robert III.; er führte 1390 den Friedensvertrag mit England herbei. Sein Sohn, Archibald Douglas, 4. Earl of Douglas, der eine von drei Töchtern Roberts III. geheiratet hatte (die beiden anderen wurden ebenfalls mit Douglas-Männern vermählt) kämpfte in Frankreich im Hundertjährigen Krieg gegen die Engländer und wurde dort 1424 zum Herzog von Touraine erhoben. Er fiel 1424 in der Schlacht von Verneuil. Dessen Sohn Archibald Douglas, 5. Earl of Douglas war von 1437 bis zu seinem Tod 1439 Regent von Schottland für den unmündigen Jakob II. Seine beiden Söhne, William Douglas, 6. Earl of Douglas und David, wurden – als Jugendliche – Opfer einer Hofintrige, indem man sie 1440 beim sogenannten „Black Dinner“ auf Edinburgh Castle enthauptete.