Etter at Belgia ble angrepet av Tyskland i 1940 ble Nussbaum arrestert av belgisk politi og bragt til Saint Cyprien-leiren i Frankrike. Under de desperate inntrykk som vises i hans bilder fra den tiden underskrev han en anmodning stillet til de franske myndigheter der han ba om å bli sendt til Tyskland. På togturen fra Saint Cyprien til Tyskland greide han å unnslippe og oppsøkte Felka i Brussel. Det var der han startet sitt nye liv som flyktning. Uten papirer hadde han ingen mulighet for arbeid, men hans venner gav ham et sted å bo og utstyr så han kunne fortsette å male. De neste fire årene ble de mørkeste i hans liv og han brukte sin kunst til å skildre dette mørket.