Aufgrund von Meinungsverschiedenheiten zur türkischen Irakpolitik während des Golfkriegs trat er am 20. Februar 1990 vom Amt des Außenministers zurück. Im Juni 1991 wurde er in einer Kampfabstimmung zum Vorsitzenden der ANAP gewählt und am 23. Juni 1991 erhielt er als Ministerpräsident mit seiner Regierung das Vertrauen des türkischen Parlaments. Am 20. Oktober 1991 verlor die ANAP aber die Wahlen. Yılmaz war ab 20. November 1991 Oppositionsführer. Nach den Parlamentswahlen vom 24. Dezember 1995 koalierte die ANAP mit der Partei des Rechten Weges (DYP). Yılmaz wurde am 6. März 1996 erneut Ministerpräsident. Aufgrund von Differenzen scheiterte die Koalition und die DYP wählte am 28. Juni 1996 zusammen mit der Wohlfahrtspartei (RP) Necmettin Erbakan zum Ministerpräsidenten. Am 30. Juni 1997 wurde er nach dem „sanften“ Putsch des Militärs und dem Rücktritt Necmettin Erbakans zum dritten Mal Ministerpräsident, bis er am 11. Januar 1999 von Bülent Ecevit (DSP) abgelöst wurde.