Ben-Eliezer ging 1954 zur Armee (IDF) und schlug 1958 nach dem Militärdienst eine Laufbahn als Berufsoffizier ein. Er diente in der Golani-Brigade und absolvierte das IDF Command and Staff College sowie das Israel National Defense College. Während des Sechstagekrieges 1967 befehligte er die Eliteeinheit Sajeret Schaked. Von 1970 bis 1973 war er Mitglied der IDF-Militärmission in Singapur; im Jom-Kippur-Krieg 1973 befehligte er wiederum israelische Truppen und wurde dabei verwundet. 1977 wurde er während des Libanesischen Bürgerkrieges zum ersten kommandierenden Offizier im Südlibanon ernannt und fungierte als Verbindungsoffizier zu den christlichen libanesischen Milizen. Von 1978 bis 1981 war er Kommandeur der israelischen Truppen im besetzten Westjordanland, 1983/1984 fungierte er als Regierungskoordinator für die „zivile“ Militärverwaltung in den besetzten Palästinensergebieten.