Swanson ble olympiske mester i basketball under OL 1936 i Berlin. Han var med på det amerikanske laget som vant basketturneringen. Det var første gang som basketball var olympisk sport. Tjuetre lag deltok i turneringen som ble avviklet i perioden 7. og 14. august 1936. I finalen vant USA med 19-8 over Canada. Swanson spilte tro kamper i turneringen.