Han var søn af kaptajn, karakteriseret major, senere oberst i landeværnet, kammerjunker Caspar Schøller (21. juni 1756 – 29. marts 1808) og Mette Henrica Münster (16. juli 1773 – 19. november 1855). Da fædrenehjemmet tidligt blev opløst, blev Schøller og hans ældre broder adopterede af den barnløse farbroder, generalmajor Gustav Grüner Schøller til Margård på Fyn. Sin første opdragelse fik Schøller hos præsten Forchhammer i Tyrstrup ved Christiansfeld, hvor han vænnedes til nøjsomhed og hårdførhed. 12 år gammel kom han ind på Landkadetakademiet: 1809 blev han sekondløjtnant i Fynske Infanteriregiment, hvor han derefter stod i nummer i 30 år. Ved regimentet begyndte han sin tjeneste på kystbevogtning på Fyn og Samsø, indtil det 1813 indlemmedes i det auxiliærkorps, der under prins Frederik af Hessen forstærkede franskmændene under marskal Louis-Nicolas Davout. Schøller deltog i toget ind i Mecklenburg og tilbage derfra, var med i fægtningerne ved Zaventhin, Siebenbäumen og Boden samt i den afsluttende hæderlige større kamp ved Sehested. Både 1814 og 1815 hørte Schøller, der allerede 1813 var blevet premierløjtnant, til de auxiliærkorpser, som Danmark nu afgav imod Frankrig; med det sidste korps forblev han tre år i Frankrig, hvor han studerede sproget og førte et utvungent jægerliv. Først i slutningen af 1818 kom han til regimentets garnison, Fredericia. 1826 blev Schøller stabskaptajn og det følgende år adjudant ved den nørrejyske Generalkommando, hvis chef var den strikse general Frederik Castonier. Dette blev afgørende for Schøllers senere skæbne.