Baltzersen er utdannet samfunnsøkonom ved Universitetet i Oslo i 1984. Han har jobbet flere år i Finansdepartementet. Han ledet i og arbeidet i . Fra 1994 jobbet han som spesialråd til Norges delegasjon til EU i Brussel. I perioden 2000 til 2002 var han fagdirektør og leder av til Norges Bank. Han gikk deretter til stillingen som ekspedisjonssjef i Finansdepartementets finansavdeling.