Bursztyn wuchs in einer kinderreichen Familie in Warschau auf. Er sprach fünf Sprachen und erlernte das Drechslerhandwerk. Im Ersten Weltkrieg wurde er nach der deutschen Eroberung Polens als Fremdarbeiter in den Bergbau des Ruhrgebiets geholt. Nach dem Friedensschluss von Brest-Litowsk ging er zurück nach Warschau, wurde aber dort wegen revolutionärer Aktivitäten inhaftiert. Wieder in Essen schloss er sich dem Spartakusbund an und wurde nach der Novemberrevolution in Deutschland zu sechs Jahren Gefängnis verurteilt. Der Haft entzog er sich in die Republik Polen und wurde dort 1919 als Soldat für die Kriege gegen die Sowjetunion eingezogen. 1923 übersiedelte er nach Frankreich. Bursztyn heiratete 1925 in Paris Jochwet („Ida“) Brand, die er in Essen kennengelernt hatte, die Familie erhielt 1930 die französische Staatsbürgerschaft. In Paris arbeitete er bis zur Weltwirtschaftskrise 1930 in der Möbelindustrie, danach war er arbeitslos und schlug sich als Händler auf Märkten durch. Er war Gewerkschafter und wurde Gewerkschaftssekretär und Schatzmeister in der „Union des travailleurs artisans et marchands forains“ (Hökermarkthändler) der Confédération Générale du Travail Unitaire (CGTU). Bursztyn trat der Kommunistischen Partei Frankreichs (PCF) bei. Er wurde bei der Gründung 1934 Mitherausgeber der mit der PCF verbundenen jiddischen Tageszeitung "Naie Presse" (La Presse Nouvelle) und Vorsitzender der Gesellschaft der jüdischen Arbeiterpresse. Bis 1938 arbeitete er auch in der Redaktion der "Naien Presse".