Han ble født i Bessarabia, som på den tiden tilhørte Det russiske keiserdømmet. Foreldrene var jødiske, men Berg gikk over til kristendommen for å få lov til å studere.