Familia Klein s-a mutat la Amsterdam în 1936 din cauza creșterii antisemitismului în Germania. Când naziștii au invadat Olanda în 1940, cu toate acestea, evreii au fost excluși din mai multe locuri publice și, în 1942, au fost obligați să poarte pe haine steaua galbenă care să le arate etnia evreiască. La momentul invaziei Nussbaum avea vârsta de paisprezece ani.