Innen 1984 var Quarrie ikke lenger blant verdens beste sprintere, og det var ingen overraskelse da ble slått ut i de innledende rundene av 200 m under OL i Los Angeles. Likevel sikret Quarrie seg sin fjerde OL-medalje da han løp inn til sølv på 4 x 100 m med Jamaicas stafettlag, bare slått av USA.