Pada tahun 1991, Mansell meninggalkan tim Scuderia, karena hubungan yang tidak stabil dengan Prost, dan ia bergabung kembali ke tim lamanya, Williams. Pengganti Mansell adalah pembalap Prancis lainnya, Jean Alesi, yang telah memukau seisi grid F1 selama dua tahun sebelumnya di tim Tyrrell. Ferrari tampak memasuki masa penurunan, sebagian di antara masalah mereka adalah karena mesin V12 tidak lagi kompetitif terhadap mesin yang lebih kecil, yaitu versi V10 yang terkenal akan efisiensi bahan bakar dan juga berat yang lebih ringan. Sasis Ferrari, meskipun telah berulang kali di revisi besar-besaran sejak GP Prancis masih juga tidak mampu selevel dengan McLaren dan Williams. Prost tidak satupun memenangkan lomba di 1991, dan ia hanya mendapatkan posisi podium lima kali. Ia melampiaskannya kekesalannya pada tim Italia dan kemudian emosi Prost ini pun dibalas balik oleh kritikan dari publik Italia dan Prost malah berbicara lantang dengan mengatakan bahwa mobil Ferrari-nya tidak lebih baik daripada truk. Sebagai akibatnya, ia lantas dipecat secara tidak hormat sebelum akhir musim, tepat sebelum Grand Prix Australia. Posisi Alain Prost kemudian digantikan oleh Gianni Morbidelli untuk balapan akhir musim 1991, dan oleh Ivan Capelli untuk musim berikutnya. Meski dipecat, Ferrari tetap membayar gaji sesuai kontrak yang masih berjalan untuk Prost.