Williams ble olympisk mester i rugby union under OL 1924 i Paris. Han var med på det amerikanske laget som vant rugby union. Det var kun tre lag som deltok i turneringen som ble avviklet i perioden 1. til 17. mai 1924. Det amerikanske laget vant begge sine kamper, de beseiret Romania med 39-0 og de slo Frankrike med 17-3.