Ali Abdullah Saleh syntyi 21. maaliskuuta 1942 jemeniläiseen sanhan-heimoon Bayt al-Ahmarin kaupungissa. Pohjois-Jemenin sisällissodassa Saleh taisteli tasavaltalaisten puolella Saudi-Arabian tukemia kuningasmielisiä vastaan. Kun presidentti Ahmad al-Ghashmi vuonna 1978 salamurhattiin, Saleh nimitettiin väliaikaiseen presidenttineuvostoon ja pääesikunnan päällikön sijaiseksi. Vain kuukausi myöhemmin Pohjois-Jemenin parlamentti nimitti hänet maan presidentiksi. Saleh valittiin monien ulkomaalaisten tarkkailijoiden yllätykseksi presidentiksi myös vaaleissa vuosina 1982 ja 1988. Salehin presidenttikaudella nousi esiin kysymys Pohjois- ja Etelä-Jemenin yhdistymisestä. Kommunistien hallitsemaa etelää tuki Neuvostoliitto, mutta sen romahtaessa tavoite Jemenien yhdistymisestä tuli mahdolliseksi. Saleh julistettiin uuden yhtenäisen Jemenin tasavallan presidentiksi toukokuussa 1990.