Après la première grande action de déportation, il devient l'un des membres les plus actifs de l’Organisation juive de combat. Il est désigné comme représentant du parti à l’état-major, il est aussi le chef du département de planification. Il participe à l’attaque d'une banque du ghetto, organisée en vue d’obtenir des fonds et se procurer des armes. Durant le soulèvement du ghetto, il commande l'un des groupes de combat de Gauche Poale Zion et combat dans le secteur de l’atelier de brossiers (pol. szop szczotkarzy) de la rue Świętojerska, puis au centre du ghetto. Le , il s'enfuit par les égouts et se retrouve dans la zone aryenne avec un groupe d’environ 30 combattants. À partir de ce moment-là, il prend part à la guérilla dans les forêts de Wyszków. En restant à la zone aryenne, il écrit ses mémoires en yiddish et les intitule "Trois. Pola Elster, Hersz Berliński, Eliahu Erlich ("yiddish: "Draj. Pola Elster, Hersz Berliński, Eliahu Erlich)." Le livre est publié dans la langue originale en 1966 et en hébraïque sous le titre "Mémoires (Zichronot)."