Han var sønn av senere stiftsamtmann i Christianssand Frederik Adeler og hustru Anna Beate Rosenkrantz. Som ung var han pasje, i 1764 sekondløytnant ved Rømelings Geworbne Infanteriregiment, samme år fikk han tillatelse til å besøke Sorø Akademi i to år. I 1756 ble han hoffjunker, 1759 rittmester ved Holstenske Rytterregiment og samme år kammerjunker. 1768 ble han kammerherre, 1777 hvit ridder og endelig den 24. mars 1785 ble han opphøyd i friherrelig stand. Dragsholm ble ved samme anledning omdøpt til Adelersborg.