Han var vararepresentant til Stortinget 1981–1985. Som stortingsrepresentant fra 1985 var han først medlem i Stortingets kommunal- og miljøvernkomité. Fra 1989 var han medlem i Stortingets finanskomité og komiteleder 1993–1996. Fra 25. oktober 1996 til 17. oktober 1997 var han statsråd i Fiskeridepartementet i Thorbjørn Jaglands regjering. Senere var han statsråd i Finansdepartementet fra 17. mars 2000 til 19. oktober 2001 i Jens Stoltenbergs første regjering. I Jens Stoltenbergs andre regjering var han først statssekretær og stabssjef ved Statsministerens kontor fra 1. desember 2006, og var fra 20. oktober 2009 statsråd på samme sted.