Takamiehenä pelannut Kelley voitti yliopistomestaruuden vuonna 1952 ja varattiin NBA:han vuonna 1954, mutta hän ei koskaan pelannut ammattilaisena vaan amatöörien AAU:ssa työnantajansa Peoria Caterpillars -joukkueessa. Kelley voitti Yhdysvaltain miesten maajoukkueessa olympiakultaa Roomassa 1960 ja maailmanmestaruuden Brasiliassa 1954. Hänen isoveljensä Dean Kelley voitti koripalloilijana olympiakultaa Helsingissä 1952.