Arthur Nebe var sønn av en skolelærer. Han meldte seg frivillig som soldat i den første verdenskrig og fikk Jernkorset. I mellomkrigstiden fikk han jobb i kriminalpolitiet og klatret raskt i gradene. Nebe var en profesjonell politimann og forfatter av et autoritativt verk om kriminologi. Han ble medlem av NSDAP og SA i juli 1931. I 1936 ble han tatt opp i SS med rang som Sturmbannführer.