Fra 1994 til 1997 var han medlem av Europaparlamentet. Deretter var han fra 1997 til 2002 minister for europeiske saker i Lionel Jospins regjering. Fra 2004 til 2007 var han igjen medlem av Europaparlamentet, før han ble innvalgt i den franske nasjonalforsamlingen i 2007 fra Doubs og satt der frem til utnevnelsen som finansminister. Han har også hatt verv på lokalt og regionalt nivå.