Han fremstod med tiden som en av de viktigste lederne i motstandsbevegelsen mot nazistene i hele Nord-Afrika. I september 1940 grunnla Aboulker et motstandsnettverk i Alger, i partnerskap med sin fetter Roger Carcassonne som hadde gjort det samme i andre byer tidligere, og Aboulker ble senere en av de viktigste lederne innen den algeriske motstandsbevegelsen. De to fettere møtte også den franske soldaten og motstandsmannen Henri d'Astier de la Vigerie, som de forberedte støtte for den forventede allierte landingen i Nord-Afrika sammen med.