Iofe nació en Simferópol, Crimea (entonces parte del Imperio ruso y actualmente en Ucrania), en una familia judía caraíta acomodada. Se hizo socialdemócrata en 1900 cuando aún se encontraba en la escuela secundaria. Se afilió al Partido Obrero Socialdemócrata de Rusia en 1902, pero no se adhirió a ninguna de las corrientes, bolchevique y menchevique, surgidas en el II Congreso del Partido. Al año siguiente se lo envió a Bakú, de donde hubo de huir para evitar ser detenido. Fue enviado entonces a Moscú, pero hubo de huir nuevamente, esta vez al extranjero. Tras finalizar sus estudios de secundaria y dado que se lo consideraba políticamente sospechoso, no pudo continuar su formación en Rusia y pasó al extranjero para estudiar medicina. En Berlín, participó en actividades de los socialdemócratas alemanes y rusos.