Zur Saison 1991 verließ Mansell Ferrari wegen seiner schwierigen Beziehung zu Prost und kehrte zu Williams zurück. Prosts neuer Teamkollege wurde sein Landsmann Jean Alesi, der zuvor für Tyrrell gestartet war. Ferrari konnte in diesem Jahr nicht mehr an die Ergebnisse des Vorjahres anknüpfen. Auch eine Überarbeitung des Chassis brachte den Rennstall nicht näher an die Konkurrenten McLaren und Williams. Zum ersten Mal seit seiner Debütsaison blieb Prost ohne Sieg. Drei zweite Plätze waren seine besten Resultate. Nachdem er beim Großen Preis von Japan das Fahrverhalten seines Autos mit dem eines Lastkraftwagens verglichen hatte, wurde er vom Rennstall ein Rennen vor Saisonende entlassen. Prost wurde durch Gianni Morbidelli ersetzt. In der Weltmeisterschaft belegte Prost den fünften Platz. Teamintern setzte er sich gegen Alesi mit 34 zu 21 Punkten durch.