Empat tahun Mansell bertahan sebagai pembalap Lotus, dan ia menjalani beragam perjuangan selama empat tahun tersebut, yang sebagian besar di antaranya adalah karena mobil tidak dapat diandalkan. Dari 59 balapan bersama tim, ia berhasil finis 24 kali. Hasil terbaiknya di musim 1981 adalah P3 saat lomba di Belgia, dan secara umum Mansell hanya berhasil finis P14 di klasemen akhir. Di musim 1982, rekan setim Mansell, Elio de Angelis berhasil memenangi balapan di Austria, dan sering kali ia tampil lebih cepat dari Mansell di beberapa lomba.