Polacy byli, obok Austriaków, pierwszymi obcokrajowcami, którzy tu zostali osadzeni. Wkrótce po wybuchu II wojny światowej, od 28 września 1939 przetrzymywano w obozie kilkaset osób narodowości polskiej mieszkających i pracujących przed wojną w Westfalii, głównie górników biorących udział w działalności polskich stowarzyszeń. Do zimy 1939 roku Polacy z Niemiec i okupowanej Polski stali się liczną mniejszością w obozie. 28 listopada 1939 do obozu trafił transport polskich profesorów i innych pracowników nauki z Krakowa aresztowanych w ramach "Sonderaktion Krakau". Pierwszy transport więźniów z warszawskiego więzienia Pawiaka wyruszył 2 maja 1940 roku. Niemcy skierowali do niego ośmiuset więźniów politycznych z grona polskiej inteligencji aresztowanych w ramach Intelligenzaktion. W 1941 r. do obozu trafiła grupa łódzkiej młodzieży męskiej, aresztowana w maju 1940 r. podczas dużej akcji represyjnej łódzkiego gestapo przeciwko niej. Najpierw osadzono ich w KL Dachau.