Scharping var fra 1991 til 1994 ministerpresident i Rheinland-Pfalz og fra 1998 til 2002 forsvarsminister i den føderale regjeringen. Mellom 1993 og 1995 var han formann for SPD og partiets kanslerkandidat ved valget i 1994. Siden 2005 er han aktiv som president for den tyske syklistforeningen.