Abdul Ghani var utdannet i USA. Han var en nær alliert av president Ali Abdullah Saleh. I to perioder var han statsminister i Nord-Jemen, først fra 1975 til 1980 og deretter fra 1983 til 1990. Han var så statsminister i det forente Jemen fra 1994 til 1997. Samme år ble han oppnevnt som medlem av Den lovgivende forsamlings konsultative råd, der han også var president.