In de zomer van 1942 bezocht Anielewicz het zuidwesten van Polen, een gebied dat geannexeerd was door Duitsland, om daar gewapend verzet te organiseren. Toen hij terugkwam in Warschau ontdekte hij dat door een grootschalige deportatie naar het vernietigingskamp Treblinka nog maar 60.000 van de 350.000 joden in de Getto van Warschau waren achtergebleven. Hij sloot zich aan bij de "Żydowska Organizacja Bojowa" (ŻOB) en werd in november 1942 het hoofd ervan. Er werd contact gelegd met de Poolse regering in ballingschap in Londen en de groep begon wapens te ontvangen van het Poolse verzet. Op 18 januari 1943 was Anielewicz feitelijk de eerste die een aanzet gaf voor de Opstand in het getto van Warschau. Hij voorkwam toen dat er weer een grote groep van joden gedeporteerd zou worden naar vernietigingskampen. Dit incident van gewapend verzet was de voorbode van de Opstand in het getto van Warschau op 19 april 1943.