Etter å ha lagt sin militære karriere bak seg, begynte Allon som politiker. Han ble en fremtredende leder i det politiske partiet Ahdut HaAvoda, og han ble valgt inn i Knesset i 1955, hvor han satt frem til sin død i februar 1980.