Under andra världskriget var Nebe befälhavare för Einsatzgruppe B, en av fyra mobila insatsgrupper som begick massmord på bland annat judar, romer och bolsjevikiska partikommissarier i Sovjetunionen och Baltikum. Efter attentatet mot Adolf Hitler i juli 1944 avslöjades Nebe som en av de sammansvurna och dömdes till döden.