Salameh ble født i Qula, nær byen Jaffa, til en velstående familie. Han var sønn av Shaykh Hassan Salameh, som falt i kamp mot den israelske hær nær Lydda under Palestinakrigen i 1948. Ali Salameh ble utdannet i Tyskland og antas å ha mottatt sin militære trening i Kairo og Moskva.