Né à Wulften am Harz, en Allemagne, il rejoint la SA en 1933 puis devient membre du parti nazi peu après avoir obtenu son diplôme d'avocat. En 1935, Fehlis rejoint la SS au cours duquel il augmente rapidement de rang. Actif dans les "Einsatzgruppen" pendant l'opération "Weserübung", il succède en  à Walter Stahlecker au poste de "Befehlshaber der Sicherheitspolizei und des SD" à Oslo, en Norvège. Au cours de cette période, il travaille en collaboration avec Reinhard Heydrich et Ernst Kaltenbrunner à Berlin et avec Josef Terboven en Norvège.