Allon diente im Feldkorps, wo er 1940 zum Regimentskommandeur aufstieg. Im Jahr darauf gehörte er zu den Gründern der Eliteeinheit Palmach, von 1943 bis 1945 war er deren stellvertretender Kommandeur, anschließend bis 1948 ihr Kommandeur. Im Zweiten Weltkrieg kämpfte er auf Seiten der British Army und nahm am Syrisch-Libanesischen Feldzug teil.