Han ble i 1903 medlem av Riksdagen for det sosialdemokratiske partiet, og ble hurtig en av partiets ledende politikere. Under første verdenskrig var Scheidemann sammen med Friedrich Ebert leder av partiets majoritetsfraksjon, som gikk inn for å gi regjeringen krigsbevilgninger, samtidig som den oppfordret til forhandling om en kompromissfred. Da det sosialdemokratiske partiet for første gang fikk plass i en føderal regjering under prins Maximilian av Baden i oktober 1918, ble Scheidemann medlem av regjeringen som minister (Staatsekretär) uten portefølje.