Mot slutten av 1930-tallet var han en av de utenlandske kommunistene som ble gransket, da Sovjet-ledelsen i skyggen av et stadig mer truende Europa utviklet mistenksomheten mot utendingene som var bosatt i Sovjet. Hans far var blant kommunistlederne som var i det hemmelige politiets søkelys, og Gilbert selv hadde hatt kontakt med flere folk som nå var stemplet som «trotskister» og «folkefiender». Han unngikk fengsling, men mistet sin betrodde jobb og fikk store problemer. Når han likevel valgte å bli værende i Moskva var en av grunnene at han hadde funnet en partner og blitt far. Han hadde flyttet sammen med sangerinnen Zinaida Aleksandrova Rakhovskaja, og de hadde fått en datter. Snart skulle nok en jente bli født.