Han ble innvalgt i det tyske parlamentet i 1980, og var fra 1990 til 1998 for SPDs parlamentariske gruppe. I 1998 ble han parlamentarisk formann for SPD. Fire år senere etterfulgte han Rudolf Scharping som forsvarsminister til det ble vagt ny regjering i 2005. Han fortsatte som parlamentarisk formann frem til 2009.