Enheten het opprinnelig SS-Sondereinheit Dirlewanger, og de første som ble rekruttert var dømte for krypskytteri, og disse fikk opplæring som skarpskyttere. Himmlers plan var at denne avdelingen skulle tjenestegjøre i andre linje på Østfronten i kampen mot sovjetiske partisanstyrker bak de tyske linjene. Mannskapsmangelen som etter hvert oppstod i de tyske styrkene, førte til at rekkene ble fylt opp av andre kriminelle og dømte fra andre Wehrmacht-avdelinger, blant annet dømte for ran og overfall. Kravene sank utover i krigen, og også voldtektsdømte, barneovergripere, drapsdømte og mentalt forstyrrede personer ble tatt opp i enheten, samt andre som ble ansett for å ikke kunne tjenestegjøre i normale militære enheter. Kriminelle konsentrasjonsleirfanger søkte seg inn i avdelingen, og antallet steg fra 84 mann i juli 1940, til over 300 i september samme år. I februar 1942 ble enheten utvidet til bataljons størrelse og ble utplassert i Hviterussland (Belarus) hvor enheten ble værende til de tyske styrkene trakk seg tilbake sommeren 1944. Vinteren1944-1945 ble enheten utvidet fra brigade og fikk navnet 36. Waffen-Grenadier-Division der SS.