Han gikk Stavanger katedralskole og tok embetseksamen i sosialøkonomi (cand.oecon.) ved Universitetet i Oslo i 1975. Han begynte sin karriere i Norges Bank, så i Finansdepartementet. Han var avdelingssjef for Finansdepartementets økonomiavdeling fra 1986 og finansråd fra 1996 til 1998. Gjedrem var fra 1999 til 2010 sentralbanksjef og leder av Norges Banks hovedstyre. Fra 2011 til 2015 var Gjedrem tilbake som finansråd.