Scholz ble født den 14. juni 1958 i Osnabrück og tilbrakte sin barndom i Hamburg. Hans far arbeidet seg opp fra selger til daglig leder i tekstilbransjen. Foreldrene og besteforeldrene som var jernbaneansatte, kom fra Hamburg. Scholz er utdannet jurist, og fikk advokatbevilling i 1985. Hans spesialfelt er arbeidsrett.