Am 9. März 1962 wurde er der zweite Ölminister in der Geschichte Saudi-Arabiens, bis er am 5. Oktober 1986 von König Fahd entlassen wurde. Yamani war während seiner Amtszeit als Ölminister maßgeblich an den Aktivitäten der OPEC beteiligt, insbesondere auch am Ölembargo 1973. 1975 gehörte Yamani zu den Geiseln der OPEC-Geiselnahme.