Aunque nunca se coronó campeón del mundo, Carter tuvo un registro de 27-12-1 con 19 nocauts y, en una pelea memorable, detuvo al campeón de dos categorías Emile Griffith en el primer asalto en 1963.