Walsh ble olympisk mester i basketball i OL 1956 i Melbourne. Han var med på det amerikanske laget som vant basketturneringen. Det var fjerde gangen som basketball sto på det olympiske programmet, femten lag deltok i turneringen som ble avviklet i perioden 22. november til 1. desember. USA vant semifinalen over Uruguay med 101-38 og i finalen vant laget med 89-51 over Sovjetunionen. Walsh spilte alle åtte kampene og scoret 73 poeng for USA i OL-turneringen.