I desember 1996 ble han utnevnt til fylkesmann i Hedmark. Han innehadde denne stillingen til 31. desember 2018 avbrutt av fire år som finansminister i Jens Stoltenbergs andre regjering. I løpet av tiden som fylkesmann var han medlem i, og ledet, en rekke offentlige utvalg, som valglovutvalget 1997–2000 og pensjonskommisjonen 2000–2002. Han var også medlem av Norges Banks hovedstyre 1999–2004, styreleder i Birkebeinerrennet 1998–2004, leder i rådet for Europaprogrammet 1998–2002 samt styreleder i SOS-barnebyer fra 2004.