Han fødtes i Christiania som sønn av oberst Caspar Schøller (d. 1716) og Isabella Elisabeth Stockfleth (d. 1778), og valgte som sin far den militære løpebane. I mai 1720 giftet han seg på Kronborg med Ebba Ovidia Grüner (d. 1793), datter av general Gustaf Grüner og Sophie Amalie Vind (d. 1722). De fikk fem barn. Paret arvet gården Margaard på Fyn etter hennes far, samt Søholm.