Pitts ble olympiske mester i basketball under OL 1948 i London. Han var med på det amerikanske laget som vant basketturneringen. Det var andre gang som basketball sto på det olympiske programmet og tjuetre lag deltok i turneringen. USA vant semifinalen over Mexico med 71-40 og i finalen vant de med 65-21 over Frankrike.