Scholz ble medlem av SPD i 1975, og var aktiv i ungdomsorganisasjonen Jusos, bl.a. som føderal nestleder (1982–1988). Han var leder for SPD i Hamburg fra 2000 til 2004, og ble innvalgt i SPDs føderale styre i 2001. Fra 2005 til 2007 var Scholz parlamentarisk forretningsfører for SPDs Forbundsdagsfraksjon. Fra mai til oktober 2001 var han senator for innenrikssaker i bystaten Hamburg og mellom 2002 og 2004 generalsekretær i SPD.