Pierwsze miesiące II wojny światowej po agresji III Rzeszy i ZSRR na Polskę, spędził w Wilnie i okolicach. W 1940 został dyrektorem Szkoły Sztuk Plastycznych w Wilejce. Po wybuchu wojny niemiecko-sowieckiej został ewakuowany w głąb ZSSR, gdzie przebywał w okolicy miasta Gorki (obecnie Niżnyj Nowgoród). Został wcielony do Armii Czerwonej, ale w związku z zakwalifikowaniem jako zapadnik (osoba pochodząca z zachodu), był zmuszony do pracy jako robotnik kolejowy. W Gorki poznał swoją przyszłą żonę, która była kierowniczką tamtejszego Domu Kultury. Żona Chwolesa, skupiła zespół artystów (tancerzy, śpiewaków, dekoratorów) i organizowała spektakle teatralne, w których występowali przede wszystkim emigranci z terenów okupowanych przez Niemców: Wilna, Warszawy, Lublina i Białegostoku. Chwoles wykonywał dekoracje do tych przedstawień.