Sélectionné pour les Jeux olympiques de 1992, il remporte la médaille de bronze du saut en longueur avec 8,34 m, derrière ses compatriotes Carl Lewis et Mike Powell. En 1993, Joe Greene se classe deuxième des Championnats du monde en salle de Toronto, à dix centimètres du Cubain Iván Pedroso, médaillé d'or. Le , il établit avec 8,48 m la meilleure performance de sa carrière à l'occasion du meeting de São Paulo. L'année suivante, il remporte une nouvelle médaille de bronze lors des Jeux olympiques d'Atlanta, devancé par Carl Lewis et James Beckford. En 1997, l'Américain termine troisième des Championnats du monde en salle de Paris, signant avec 8,41 m la meilleure performance de sa carrière lors d'une compétition indoor.