Williams stod på seierspallen ünder to OL. I OL 1972 i München vant han gull med et hopp på 8,24 m, foran tyskeren Hans Baumgartner og landsmannen Arnie Robinson. Under OL 1976 i Montréal tok han sølv med 8,11 m, slått av Arnie Robinson.