Det var to linjer av familien på denne tiden. Hovedlinjen var jarlene av Douglas,som represtenterte den «svarte» linje; mens Angus representerte den «røde» linje. Begge grenene nedstammet utenomekteskapelig fra William the Hardy, Lord of Douglas. Jarlen av Douglas nedstemmet gjennom Archibald the Grim, en uekte sønn av Sir James Douglas. Den 4. Earl of Angus' bestefar var et uekte barn av William, 1st Earl of Douglas.