I Stalin-tiden ble det anlagt flere fangeleirer innen Gulag-systemet i byen. Utbyggingen av slike leirer tok av rundt Kem omkring 1930. I Kem lå de viktigste leirene under anlegget av kanalen mellom Østersjøen og Kvitsjøen der de største slusene ble bygget. I Kem lå også administrasjonssenteret for fangeleirene på Solovkiøyene, og byen var transporthavn til øyene. Det er reist et monument til minne om de som døde i leirene i Kem.