In het begin was het kampregime hard, maar toch nog enigszins te verduren. Het steeds hardere werktempo en de strengere discipline maken de gevangenschap potentieel dodelijk. Op 17 februari 1941 viel de eerste dode, Julius Nathan, een Joodse immigrant. De situatie verergerde nog na de inval van de Duitsers in de Sovjet-Unie op 22 juni 1941. Een aantal Russen en communisten werd opgepakt en in Breendonk opgesloten, waardoor de kampbevolking verdubbelde. Vanaf dit moment vielen er maandelijks doden door dwangarbeid, ondervoeding en zware mishandelingen.