När Nazityskland invaderade Polen 1939, anslöt sig Alice make till den polska armén. Alice stannade kvar på gården i Żywiec. Redan den 3 september nådde tyska soldater gården och började använda den som en barack. Officerer från SS och Gestapo kom efter och förhörde Alice Habsburg för första gången. Alice Habsburg trodde att hennes man och barn var säkra på gården i Busk, men när Sovjetunionen också invaderade Polen lämnade hon Żywiec för att försöka hitta dem.