Babel ble født i en jødisk familie i Odessa i en periode med sosial omveltning og jødisk masse-emigrasjon fra Russland. Han overlevde pogromen i 1905 takket være kristne naboer som gjemte familien, men hans grandonkel Shoyl var en av de rundt 300 jødene som ble myrdet.