I 1941 ble boksamlingen så omfattende at Six som tidligere planlagt hentet inn flere personer med kunnskap om jødiske forhold: Først et team på åtte jødiske bibliotekarer og vitenskapsfolk. Ernst Grumach, klassisk filolog og litteraturviter, ble utpekt til leder for de jødiske arbeiderne. Teamet ble senere utvidet til 24. I tillegg til det faglige arbeidet måtte de jødiske tvangsarbeiderne bære bøker, laste og losse lastebiler samt reparere taket etter bombing og anlegge bomberom. Grumach forsøkte å avverge at tvangsarbeiderne i biblioteket ble deporterte til utryddelsesleir og forsøkte å få flere jødiske arbeidere til biblioteket. I mars 1943 under , Gestapos operasjon for å deportere de siste jødene i Berlin, ble bare Grumach selv og en person til som var i blandingsekteskap spart. Senere i 1943 ble en ny gruppe tvangsarbeidere plassert i biblioteket og disse overlevde holocaust.