Maailmansodan jälkeen Joosef Ferdinand asui yksityishenkilönä Wienissä. Kun Itävalta liitettiin Saksaan vuonna 1938, hän joutui Gestapon pidättämäksi ”epäilyttävän käytöksen” vuoksi ja päätyi kolmeksi kuukaudeksi keskitysleirille. Hänet vapautettiin valvonnan alaisena, mutta vankeusaika oli murtanut hänen terveytensä. Hän kuoli Wienissä vuonna 1942.