Williams fue la elección de primera ronda de Indiana Pacers en el draft de 1981, donde jugó desde 1982 hasta 1989 y fue aquí donde tuvo sus años más productivos.