Lederne for Einsatzgruppene i Sovjetunionen var hentet fra toppsjiktet i Kripo, Gestapo og Sicherheitsdienst (SD). Mannskapet besto av SS-folk, Waffen-SS, vanlige tyske politimenn, lokalt politi og lokale frivillige blant annet fra lokale fascistorganisasjoner. Et stort antall ukrainske, litauiske, latviske og estiske medhjelpere ble rekruttert lokalt. Den tyske kjernen i gruppene ble samlet i grensepolitiets skole i den lille byen Pretzsch nær Wittenberg i Sachsen der de fikk opplæring og indoktrinering. Instruktør i Pretzsch var blant andre Bruno Streckenbach og Heydrich orienterte lederne om oppdraget i øst. Hver av de fire Einsatzgruppene (A til D) var omtrent på størrelse med et infanteriregiment og inndelt i mindre Einsatzkommandoer og Sonderkommandoer på størrelse med kompani i infanteriet. Gruppene var i utgangspunktet på 500-900 mann og det reelle antallet var større på grunn av forsterkninger i perioder.