Fischer-Schweder ble i 1925 medlem av Sturmabteilung (SA) og fire år senere ble han medlem nummer 17141 i Nationalsozialistische Deutsche Arbeiterpartei (NSDAP). Han hadde også vært medlem av . Innenfor SA oppnådde han 1938 graden Oberführer. Kort etter Adolf Hitlers maktovertakelse i januar 1933 innledet Fischer-Schweder sin karriere i politiet. Han var arbeidet i blant annet Berlin-Charlottenburg, Breslau og Leignitz. I oktober 1940 ble han til politisjef i Memel (litauisk: Klaipeda) i Memelland som Tyskland hadde annektert året før. I august 1941 ble Fischer-Schweder tatt opp som medlem av i Schutzstaffel (SS) og fikk der samme grad som i SA, han lenge ivret etter å gå over i SS.