Holter hadde en treårsperiode som selvproletarisert industriarbeider på 1970-tallet. Etter fullført magistergrad ble han i 1980 ansatt som forsker ved Arbeidsforskningsinstituttet (AFI). Her var han frem til han i 2006 tiltrådte stillingen som forskningsleder ved Nordisk institutt for kunnskap om kjønn (NIKK). I 2008 ble han ansatt som professor ved Senter for tverrfaglig kjønnsforskning (STK) ved Universitetet i Oslo. Han gikk av med pensjon i 2022 og har siden vært professor emeritus.