Scholz studerte jus i Bonn og Berlin og tjenestegjorde deretter som dommer og regjeringsadvokat i ulike stillinger i Preussen. Han overtok 1880 som leder av riksfinanskontoret med tittelen . I 1882 etterfulgte han Karl Hermann Bitter som Preussens finansminister og tjente i denne stillingen under keiserne Wilhelm I, Friedrich III og Wilhelm II til 1890. Som Preussens finansminister var han Bismarcks nærmeste rådgiver.