Den påfølgende sesongen kom Coe i form tidsnok til at han fikk sjansen til å delta under OL i 1984. Det var imidlertid kontroversielt og sterkt kritisert i britisk presse at han ble foretrukket framfor Peter Elliott på 1500 meter, da Elliott hadde slått ham på distansen under det britiske mesterskapet. Coe forsvarte sitt sølv på 800 meter (denne gang vant Joaquim Cruz fra Brasil) og gullet på 1500 meter, noe ingen andre utøvere hittil har klart om man ikke regner med ekstralekene i 1906. Han spurtbeseiret forhåndsfavoritten Steve Cram og satte ny olympisk rekord (3.32,53), og viste at det var riktig å ta ham ut.