I 1983 ble han innvalgt i det tyske parlamentet, og var medlem av utenrikskomitéen fra 1983 til 1998. Fra 1994 til 1997 var han parlamentarisk nestformann for SPD. Han var statssekretær i utenriksdepartementet fra 1998 til 1999; deretter ble han EU-kommissær for utvidelsen.