Nebe naik pangkat melalui pasukan kepolisian Berlin dan Prusia menjadi kepala Kepolisian Kriminal Jerman Nazi (Kripo) pada tahun 1936, yang mengurusi Kantor Keamanan Utama Reich (RSHA) pada 1939. Sebelum invasi Uni Soviet oleh Jerman pada thaun 1941, Nebe secara sukarela bertugas sebagai perwira komando "Einsatzgruppe B".