Da nazistene okkuperte Østerrike i 1938, ble Josef Ferdinand arrestert sammen med mer enn 70 000 andre innbyggere i Wien. Han gikk gjennom mange avhør av Gestapo og sendt til konsentrasjonsleiren Dachau, hvor han satt fengslet i tre måneder. Forholdene i konsentrasjonsleiren ødela hans helse permanent. Josef Ferdinand ble frigitt og han levde en isolert tilværelse etter dette, under kontinuerlig overvåkning av Gestapo.