Weissberg fue entregado a la Gestapo por Stalin, junto con otros alemanes y judíos presos en la URSS, con ocasión del Pacto Nazi-Soviético (también conocido como el Pacto Molotov-Ribbentrop), el 5 de enero de 1940, en el puente de Brest-Litowsk. Fue retenido en las prisiones de la Gestapo en Biała Podlaska, Varsovia y Lublin. Después los nazis lo abandonaron en el gueto de Cracovia. En 1942, cuando los alemanes iniciaron la deportación de los judíos del gueto, consiguió escapar, pero volvió a caer prisionero en marzo de 1943. Volvió a escapar con ayuda de la resistencia polaca y se escondió en Varsovia, en donde sobrevivió a los dos alzamientos (el del gueto y el organizado por el Armia Krajowa o Ejército Territorial). Finalmente, cuando el ejército rojo llegó a Varsovia, a principios de 1945, consiguió escapar a Suecia.