Han var sønn av kommerseråd Anders Schøller (1664-1724) og Anna Stigsdatter de Tonsberg. 12 år gammel fikk han den senere biskop Eiler Hagerup til lærer. Siden reiste han utenlands under den senere kongelige konfessonarius Johan Frauen og var 5 år i Tyskland (hvorav flere år i Halle). 1719 vendte han hjem igjen, og men reiste atter ut året etter, denne gang på handelens vegne. Han besøkte Holland og Frankrike, og overvar i Reims kroningen av Ludvig XIV. 1721 var han hjemme igjen.