Han var gift to ganger, først med Ulrica Helene de Cicignon (d. 1781), annen gang med Christiane Dorothea Mohrsen (1750–1789). Conrad Wilhelm Adeler døde i sin reisevogn på vei til Lundbæk den 28. april 1785.