Cort Adeler var sønn av den norsk-danske slekten Adelers stamfar Søren Jensen i Brevik. Hans etterkommere bodde dels i Norge – der slekten er utdødd i mannslinjen, og dels i Danmark, der først en mannslinje og så en kvinnelinje, ble utnevnt til friherrer. Medlemmer av disse linjene eide Dragsholm slott, kjøpt 1694, som de fikk omdøpt til «Adelersborg» i sin eiertid. Også barna til hans bror, amtmann i Bratsberg Niels Sørensen (død 1694 i Kragerø), brukte slektnavnet Adeler eller Adelaer. Blant dem var medlem av Slottsloven og stiftamtmann i Kristiansand Henrik Nielsen Adeler (1660–1718).