Alon velil poľnej jednotke Hagany a neskôr mobilnej patrole v severnej časti mandátnej Palestíny počas arabského povstania v rokoch 1936 až 1939. V tomto období sa zúčastnil na mnohých operáciách Zvláštnych nočných čiat pod vedením Orde Wingata a H. E. N. Bredina. V roku 1941 sa stal jedným zo zakladajúcich členov elitných úderných jednotiek Palmach. V tom istom roku sa zúčastnil na britskej invázii do Libanonu a Sýrie. V roku 1943 sa stal zástupcom veliteľa Palmach a na tomto poste slúžil až do roku 1945, keď sa stal ich veliteľom. Z pozície veliteľa schválil v decembri 1947 úder proti arabskej dedine al Khisas pri libanonskej hranici, pri ktorom vyhodili do povetria domy a zahynuli desiatky civilistov.