Etter David Ben-Gurions avgang, ble Lavon utnevnt til forsvarsminister i 1954. Men han valgte å trekke seg fra Israels regjering etter at han ble anklaget for å autorisere en rekke angrep mot britiske og amerikanske mål innad i Egypt, og deretter legge skylden for alle angrepene på forskjellige muslimske organsiasjoner (blant annet Det muslimske brorskap) Lavon trakk seg tilbake fra det offentlige liv i 1964 etter en langvarig konflikt med David Ben-Gurion, og han døde i Tel Aviv i januar 1976, 72 år gammel.