1984-ben a csapat harmadik lett a konstruktőri világbajnokságban 47 ponttal, győzelem nélkül. Mansell ez évben Dallasban megszerezte pályafutása első Formula–1-es pole pozícióját, mögüle Angelis rajtolhatott el. A verseny végén tönkrement a brit váltója, az autó néhány méterrel a cél előtt állt le. Ekkor a már a nagy hőségtől is kimerült Nigel betolta autóját a célba, majd összeesett. Így végül hatodik lett, ami egy pontot ért neki. Angelis végül a harmadik helyen futott be. Mansell 1984 végén elhagyta az igen megbízhatatlan autókkal rendelkező Lotust, és a Williamshez igazolt.