Im NS-Staat machte er als Kriminalbeamter Karriere. Er war führend an den Massenverbrechen der SS-Einsatzgruppe B an Juden, Roma, Kommunisten und anderen sowjetischen Bevölkerungsgruppen beteiligt, erprobte die Massentötung durch Giftgas, beschaffte das Giftgas für die Tötung von Behinderten, z. B. bei der Aktion T4, verfolgte den Hitlerattentäter Georg Elser, verantwortete die Deportation und Vernichtung von Roma und Menschenversuche an KZ-Häftlingen. Undurchsichtig ist sein Verhältnis zum Verschwörerkreis des 20. Juli 1944, zu dem er Kontakte hatte, die jedoch ohne Belang für den Putschversuch waren. Dennoch wurde Nebe vom Volksgerichtshof zum Tode verurteilt und hingerichtet.