Phelps begynte å svømme da han var seks år. Han ble tatt ut til OL 2000 i Sydney som 15-åring, den yngste OL-svømmeren fra USA siden 13-årige Ralph Flanagan i Los Angeles 1932. Phelps' beste resultat under sitt første OL ble en femteplass på 200 meter butterfly. Samme år slo han verdensrekorden på samme distanse, og ble da den yngste herresvømmeren noensinne som har satt en verdensrekord.