Nascut en 1878 a Ucraïna en el si d'una família de jueus russos (probablement d'ascendència sefardita), es va unir al partit bolxevic el 1901, i, com era comú per als membres dels moviments clandestins de l'època, va adoptar un pseudònim, Lozovski (per la ciutat Lozovaya, prop de Khàrkiv, a Ucraïna). Va ser expulsat dues vegades del partit bolxevic (el 1914 i el 1917-1918), però readmès. La seva segona expulsió va ser motivada pel seu suport als sindicats independents després de la revolució d'octubre.