Van 1968 tot 1969 was hij vicepremier en minister van Immigratie. Na de plotselinge dood van Levi Eshkol was Allon enkele weken waarnemend premier, voordat Golda Meir aantrad. In Meirs kabinet was hij vervolgens van 1969 tot 1974 minister van Onderwijs en Cultuur en opnieuw vicepremier. In september 1970 woedde er in Jordanië een gewapend conflict, bekend onder de naam Zwarte September, tussen de PLO van Yasser Arafat en de Jordaanse regering. Allon stelde voor om koning Hoessein in deze te steunen. Van 1974 tot 1977 was hij minister van Buitenlandse Zaken. Ten tijde van zijn plotselinge dood in februari 1980 was hij met Shimon Peres in competitie om leider te worden van een alliantie van linkse partijen.