Aluksi leireille vangittiin poliittisia toisinajattelijoita, Jehovan todistajia, pappeja, homoseksuaaleja, romaneita ja mielisairaita. Valtakunnan salaisella poliittisella turvallisuuspoliisilla, Gestapolla oli valta pidättää ja asettaa valitsemiaan henkilöitä turvasäilöön vankiloihin tai keskitysleireille ilman syytettä tai tuomiokäsittelyä. Toukokuussa 1935 Saksassa oli viisi leiriä, joilla oli 3 500 vankia: Esterwegen (322), Lichtenburg (706), Moringen (49 naista), Dachau (1 800) ja Sachsenburg (678). Marraskuun 1938 juutalaisvainoissa vangittiin 50 000 ihmistä lisää. Huhtikuussa 1939 suurin osa vangeista oli vapautettu, ja leireillä oli noin 21 000 henkeä. Tällöin alettiin vankien työvoimaa hyödyntää pakkotyössä vangitsemisen lisäksi. Uudet leirit perustettiin lähelle kuljetusreittejä ja SS:n hallinnoimia tehtaita. Ensimmäinen näistä oli Sachsenhausen lähellä Berliiniä heinäkuussa 1936.