Frederik Georg Adeler var først gift med Juliane Ernestine de Cicignon (1744—1799), datter av Ulrik Frederik de Cicignon (1698-1772) og Nicolaina Antoinette von Brügmann (1717-1759). Grunnet uoverensstemmelser, ble Adeler i 1785 separert fra sin kone. I 1796 giftet han seg på ny med Caroline Rudolphine Schubart (1760—1798) som var enke etter kammerjunker Jacob Løvenskiold, Rafnes.