Alfred Schimmel fullførte etter endt skolegang et studie i rettsvitenskap. Schimmel ble medlem av NSDAP i 1931 (medlemsnummer 400.086). Fra 1935 arbeidet han som Regierungsassessor ved politidireksjonen i Ludwigshafen og ble i 1936 overført til Bayerische Politische Polizei i München. Etter at Bayerische Politische Polizei ble omorganisert til Geheime Staatspolizei, ble han i 1937 utnevnt til Regierungsrat. Fra 1938 var han avdelingsleder (II B) ved Staatspolizeileitstelle München. I september 1938 mottok han angrepsgrad som SS-Sturmbannführer (SS-Nr. 280.336).