I løpet av én fireårsperiode holdt Gaines fire verdensrekorder. Om ikke USA hadde boikottet Sommer-OL 1980 i Moskva, hadde trolig Gaines vært favoritt til å vinne flere medaljer. Etter å ha gått ut fra Auburn i 1981 var han overbevist om at han hadde mistet sin sjanse til å ta OL-medalje. Han sluttet med svømming og begynte ikke igjen før etter flere måneder da hans far oppmuntret ham til å fortsette. Gaines kvalifiserte seg til den amerikanske OL-uttakningen til Sommer-OL 1984, men tidene han svømte på var ikke spesielt imponerende og han var ikke forventet å ta medalje under mesterskapet som skulle holdes i Los Angeles. Det gjorde han likevel – han tok gull på 100 m fri og deltok på stafettlaget som tok gull på 4 x 100 m fri og 4 x 100 m medley.