Après l'invasion de l'URSS par l'armée allemande, Vogeler est exilé comme des centaines de milliers d'autres personnes d'origine allemande (Allemands de la Volga, Allemands de la mer Noire) vers le Kazakhstan soviétique. Son tour arrive en . Son ex-épouse Sonja et son fils Jan, faisant montre de leur origine polonaise ne sont pas déportés. Jan est enrôlé dans l'Armée rouge. Après un long voyage difficile en train, Vogeler arrive au kolkhoze du Premier Mai dans le district de Vorochilov (appartenant au territoire de l'immense oblast de Karaganda) où il fait partie des ouvriers forcés à travailler à la construction d'un barrage. Il n'a pas de moyen de subsistance et doit demander à ses amis de partager leur maigre pitance. Son ami, l'écrivain Erich Weinert (1890-1953), lui règle ses dettes.