Adeler hadde vært gift to ganger; først med Anna Sletter (d. 1672), datter av borgermester Hans Sletter. De skal ha hatt mellom 9 og 12 barn sammen. Annen gang giftet han seg med enken Marie Cloumann fra København, en kusine av rikskansler Peder Griffenfeld. Også dette ekteskap ga barn. Marie døde i Skien i 1718, 85 år gammel.