Sobrellevó la discriminación en una sociedad segregada, ya que al comienzo de su carrera tuvo que comer en restaurantes, viajar en buses, y hospedarse en hoteles para gente del color de su piel.El hecho de provenir de un país latinoamericano le dio pocas posibilidades de resaltar en la prensa deportiva; la defensa de su reputación, además, le trajo no pocas discusiones con los y periodistas.Todo a pesar de ser un pelotero del cual muchos pensaban que jugaba a un “nivel cercano a la perfección”.Esto se ejemplifica en el hecho que solo ganó una vez el reconocimiento de Jugador más valioso de una temporada (1966) y que en una elección para escoger al mejor jugador de la década de los años 1960, fue preferido el lanzador Sandy Koufax; mientras, Clemente, apenas recibió unos cuantos votos.