Negyedik olimpiáján, Moszkvában rövidebbik távján kiesett az elődöntőben. Címvédőként 200 méteren végül a dobogó harmadik fokáig jutott. Az 1983-as atlétikai világbajnokságra nevezték ugyan 200 méteren, de nem indult el. 1984-ben Quarrie már nem tartozott a világ legjobb sprinterei közé, így nem volt meglepő, hogy az olimpián 200 méteren kiesett a versenyből, de így is bővítette éremgyűjteményét, mivel a jamaicai 4 × 100 méteres váltóval második lett az Egyesült Államok mögött.