Er kehrte 1955 zunächst als Verteidigungsminister – ein Amt, das er bereits von 1948 bis 1954 innegehabt hatte –, noch im selben Jahr aber auch wieder als Premierminister an die Staatsspitze zurück. In dieser Funktion bereitete er in enger Zusammenarbeit mit Frankreich und England den Sueskrieg von 1956 vor. Infolge der Lawon-Affäre trat er 1963 vom Amt des Premierministers zurück und schlug Levi Eschkol als seinen Nachfolger vor. Zwei Jahre später überwarf er sich mit Eschkol und der Mapai und gründete mit Mosche Dajan und Schimon Peres die Rafi-Partei. Nach dem Sechstagekrieg sprach Ben-Gurion sich 1967 dagegen aus, weiteres arabisches Land zu annektieren. Als sich Rafi 1968 mit Mapai zusammenschloss, gründete er die Nationale Liste.