I februar 1943 kom de første ikke-jødiske «krigsfangene» til Berg, først og fremst norske politiske motstandere av naziregimet. Leiren var opprinnelig planlagt for rundt 3000 fanger, men ble aldri fullt utbygd. Antallet internerte var derfor vanligvis bare opp mot 250-300, men økte med et belegg på mellom 500 og 600 den siste krigsvinteren. Berg var den eneste fangeleiren i Norge som bare hadde norske fangevoktere, deriblant flere frontkjempere fra Tønsberg-området. Fangebehandlinga der var svært tøff, og tre av vokterne ble idømt livsvarig tvangsarbeid i rettsoppgjøret som fulgte etter krigen.