Fra 1919 til 1921 levde familien i Sveits og senere på Madeira og i Spania. Keiseren døde på Madeira i 1922, og Otto ble tronpretendent som tiåring.