Służbę wojskową rozpoczął od wstąpienia do Freikorpsu. Po zajęciu przez III Rzeszę Austrii pełnił funkcję szefa Gestapo w Innsbrucku. Następnie, w okupowanej Polsce Harster będąc w stopniu Sturmbannführera objął stanowisko szefa Sipo i SD w Krakowie. W latach 1940-1943 był szefem Sipo i SD w Holandii, a następnie we Włoszech w latach 1944-1945.