לאחר נישואיו הראשונים ב-1921, התפטר יוזף מתפקידו כראש הבית של טוסקנה. ב-1938 עם כניסת הנאצים לאוסטריה, נעצר יוזף עם עוד 70,000 תושבי וינה, נחקר על ידי הגסטפו ונשלח למחנה דכאו, שם שהה 3 חודשים. לאחר מכן שוחרר לביתו, תוך שמוטל עליו פיקוח צמוד על ידי הגסטפו.