Народився в повітовому містечку Балта Подільської губернії, де рано захопився анархістськими ідеями, кілька разів піддавався арештам і брав участь у першій російській революції. У 1905 році нелегально емігрував до Королівства Румунія. У 1908 році заарештований у Відні за спробу пограбувати банк. Здійснив втечу після 4-місячного ув'язнення і переїхав до Будапешта, де був заарештований за спробу пограбувати ресторан. Після цього був висланий із Австро-Угорської імперії. Свої злочини виправдовував анархістськими переконаннями. У 1910—1914 роках жив у Парижі. На початку Першої світової війни 1914—1918 років вступив у французький Іноземний легіон. Був нагороджений  — французькою військовою нагородою. 1917 року після тяжкого поранення в ході битви на Соммі і лікування був демобілізований. У серпні 1917 року, після Лютневої революції, разом із дружиною прибув до Російської республіки. Спочатку працював годинникарем у Балті. Є версія, начебто в січні 1919 року в Одесі Шварцбард вступив до Червоної армії і до середини 1920 року в лавах бригади Котовського брав участь у бойових діях Громадянської війни в Україні — був інтендантом при обозі, організатором єврейського загону та його каральних акцій супроти повстань українських селян. Подібне не підтверджують окремі дослідники. Після придушення політичної опозиції розчарувався в Радянській владі й знову поїхав до Парижа, де відкрив годинникову майстерню. Існує думка, що всі члени його сім'ї (всього 15 осіб) були вбиті в результаті хвилі єврейських погромів, що відбулися в Україні в 1918—1920 роках. На процесі в Парижі 1927 року адвокат стверджував, що вони загинули в погромах, які проводилися «регулярними українськими частинами». Проте, єврейські погроми 1919 року в Балті відбулися в той час, коли там перебувала Червона Армія, а війська Директорії УНР Симона Петлюри перебували за 200 км від міста.