Smith ble olympisk mester i basketball under OL 1960 i Melbourne. Han var med på det amerikanske laget som vant basketturneringen foran Sovjetunionen og Brasil. Det var femte gangen som basketball sto på det olympiske programmet, seksten lag deltok i turneringen. USA vant alle åtte kampene og ble olympiske mestere for femte gangen. Smiths spilte alle åtte kampene og scoret 87 poeng for USA under OL-turneringen.