Allons vader immigreerde in 1890 naar Palestina. Hijzelf was een van de oprichters van de kibboets Ginosar aan de westelijke zijde van het Meer van Tiberias in het noorden van Israël. Allon voegde zich op 13-jarige leeftijd bij de Hagana, een zionistisch-Joodse paramilitaire organisatie die het doel had de Joodse gemeenschap binnen het Britse Mandaatgebied Palestina te beschermen. Tijdens de Arabisch-Palestijnse opstand (1936-39) leidde hij een veldeenheid en nam deel aan nachtelijke operaties onder leiding van de bekende Britse officier Orde Wingate. In 1941 was hij een van de oprichters van de Palmach, de elite-eenheid van de Hagana. In hetzelfde jaar was Alloneen verkenner van de Britse troepen die Syrië en Libanon binnenvielen. In 1945 was hij opgeklommen tot hoofd van de Palmach.