När han föddes visste ingen att familjen några år senare skulle tvingas fly igen , eftersom Finland hade börjat skicka tillbaka ingermanländarna till Sovjet .