Em 11 de agosto, Phelps foi o primeiro a nadar da equipe americana na prova de 4x100m livre, e chegou em segundo com o tempo de 47,51 segundos, 27 centésimos atrás da equipe australiana, colocando assim mais responsabilidade nos outros nadadores de sua equipe (Garrett Weber-Gale, Cullen Jones e Jason Lezak). O final da prova foi dramático, pois os EUA estavam atrás da equipe francesa. Os últimos 50m foram decididos com o americano Jason Lezak, que chegou 0.87 segundos (87 centésimos) a frente do francês Alain Bernard, assim também a equipe americana bateu o recorde mundial.