Før nazistene tok makten, var Nebe deres mann i Berlins kriminalpoliti. Han hadde nære forbindelser med SS-gruppen ledet av Kurt Daluege, som i april 1933 anbefalte at Nebe skulle bli leder av Kripo. Nebe ble nå gitt i oppgave å reorganisere kriminalpolitiet i det tredje rike. Som leder av Kripo og som høytstående Gestapo-offiser, spilte Nebe en viktig rolle i etableringen av det totalitære naziregimet. I september 1939 ble han leder for Amt V av RSHA.