Den opprinnelige grunnlegger av familien kom til Skottland fra Flandern rundt 1147, og som belønning for sine tjenester fikk han landområder rundt stedet Douglas i Lanarkshire av abbeden i Kelso. I en opptegnelse er han nevnt på latin som «Thebaldus Flammaticus», dvs Theobald fra Flandern. Hans sønn og arving William tok etternavnet Douglas etter eiendommen. Archibald de Douglas, hans eldste sønn, etterfulgte ham. Bricius, en yngre sønn av William ble biskop i Moray i 1203, og hans fire brødre; Alexander, Henry, Hugh og Freskin bosatte seg i Moray under hans beskyttelse, og fra disse stammer Douglasene i Moray.