Hayes var på topp under Sommer-OL 1964 i Tokyo. Han begynte med gullmedalje og tangering av verdensrekorden på 100 meter med en tid på 10,06 sekunder, til tross for at han løp i bane 1 som dagen før hadde blitt brukt under 20 km kappgang, og derfor var noe nedslitt. Han brukte også lånte sko da han ikke klarte å finne sine egne, som hadde forsvunnet under hans egen seng. Han fulgte det opp med en andre gullmedalje på 4 x 100 m stafett, som også var en ny verdensrekord på 39,06 sekunder.