Fra 1987 til 1988 arbeidet han hos Krigsadvokaten for Østlandet / Generaladvokaten for forsvaret. Holme var politijurist i Senja politidistrikt fra 1988 til 1990 og deretter ett år som dommer i Trondenes tingrett. Han var i Økokrim fra 1991 til 2001 som førstestatsadvokat, det siste året som fungerende nestleder. I 1993 hadde han permisjon og arbeidet som konstituert lagdommer i Eidsivating lagmannsrett (nå Borgarting lagmannsrett), og i 1997 en periode som assisterende riksantikvar. Fra juni 2001 var han en kort periode konstituert generaladvokat for forsvaret, før han høsten 2001 ble statssekretær i Justis- og politidepartementet for Odd Einar Dørum i Bondevik II-regjeringen, en stilling han hadde til 2004. Fra 2004 til 2009 var han sjef for Politiets sikkerhetstjeneste (PST).