Anvelt toimi maanalaisena vallankumouksellisena tasavaltaisessa Virossa ja johti kommunisteja heidän yrittäessä vallankaappausta Virossa joulukuun alussa 1924. Kaappaus kuitenkin epäonnistui, ja Anveltin onnistui paeta Virosta. Hän siirtyi Neuvostoliittoon vuonna 1925, ja sen jälkeen hän toimi sotilasakatemian poliittisena komissaarina. Vuosina 1929–1935 hän toimi siviili-ilmailun hallinnollisissa tehtävissä, kunnes vuodesta 1935 hän siirtyi jälleen poliittisiin tehtäviin eli Kominternin toimeenpanevan sihteeristön jäseneksi. Tässä tehtävässä hän oli aina kuolemaansa asti eli joulukuuhun 1937. Aanveltista tuli Stalinin suuren vainon uhri.