Allon nacque a Kfar Tavor, durante il Mandato britannico della Palestina. Nel 1937 si diplomò della Scuola Superiore Agricola Kadoorie, ed entrò nel kibbutz Ginosar. Le sue attività militari presero avvio allorché egli servì come comandante di un'unità da campo dell'Haganah, e poi come comandante di un reggimento durante la Grande rivolta araba tra il 1936 e il 1939. Nel 1941 divenne uno dei membri fondatori del Palmach. Quello stesso anno prese parte all'invasione britannica del Libano e della Siria. Nel 1943 divenne vice-Comandante dell'organizzazione e servì in quel posto fino al 1945, quando diventò Comandante in capo. Durante la guerra arabo-israeliana del 1948 condusse alcune fra le più importanti operazioni belliche, su tutti e tre i fronti, inclusa l'Operazione Danny, l'Operazione Yoav e l'Operazione Horev. Il suo ultimo incarico militare fu quello di comandare il Fronte meridionale (con l'Egitto). Nel 1950 si ritirò dal servizio attivo..