Indtil da havde Schøller haft en militær karriere. Han blev kadet 1803, fik officersanciennitet 1806, kornet i Fynske Regiment lette Dragoner 1807 efter under Københavns bombardement at have forrettet tjeneste ved Studenterkorpset. Schøller blev 1808 sekondløjtnant og allerede 1809 sekondløjtnant, deltog med sit regiment i træfningen ved Sehested 1813, blev kammerjunker 1814 og ritmester samme år. Han fik majors anciennitet 1831, blev major og eskadronchef 1839 og Ridder af Dannebrog 1840. 1842 fik han afsked som oberstløjtnant.