Han vokste opp på Greverud i nåværende Nordre Follo kommune. Holte har hovedfag i statsvitenskap (cand. polit.) fra Universitetet i Oslo (1992) og ble avdelingsdirektør i Sosial- og helsedepartementet i 2000. I 2005 ble han ekspedisjonssjef i Utdannings- og forskningsdepartementet og senere assisterende departementsråd i Kunnskapsdepartementet fra 2005 til 2008. Holte har tidligere arbeidet i Andersen Consulting og i det som i dag er Fornyings- og administrasjonsdepartementet. Han har blant annet arbeidet med den statlige håndteringen av år 2000-problemet, IKT-satsinger i helse- og sosialsektoren, og med etableringen av et nasjonalt helsenett. Fra august 2013 til august 2020 var Holte Norges skattedirektør og fra 2008 til 2013 var han leder av Direktoratet for forvaltning og IKT (DIFI).