Mange av de estlandssvenskene som ble igjen, var unge menn som var mobilisert til Den røde armé, og som kom ikke kom hjem før krigen var over. Estlandssvenskene i Sovjetunionen ble en taus og mistenkeliggjort minoritet uten kontakt med slekt og venner i utlandet. Bønder som motsatte seg kollektivisering og ellers ble tatt for å være «kulakker», risikerte henrettelse eller deportasjon til Sibir.