Kaudella 1991 Mansellin tilalle Ferrari-talliin saapui ranskalaiskuljettaja Jean Alesi. Ferrarin auto ei ollut kuitenkaan kilpailukykyinen ja Prost hankki itsensä jälleen huonoon valoon auton jatkuvalla moittimisella, kuten kävi hänen Renault-kaudellaan 1983. Voitoitta jääneelle Prostille viimeinen pisara oli Espanjan GP kauden lopulla. Talli ei suostunut ottamaan riskiä startata slikseillä märältä radalta – Prostin toiveista huolimatta. Rata kuivui kuitenkin ja renkaanvaihtojen jälkeen Prost saapui maaliin kakkosena. Lopulta Prost erotettiin Ferrarilta ennen kauden viimeistä kilpailua. Tuolloin Prost ilmoitti jäävänsä viettämään välivuotta.