Na igrzyskach olimpijskich w Rio de Janeiro zdobył sześć medali. Na dystansie 200 m stylem motylkowym wywalczył swoje trzecie złoto olimpijskie, wyprzedzając Masato Sakaiego o 0,04 s. W konkurencji 200 m stylem zmiennym został mistrzem olimpijskim czwarty raz z rzędu i jest trzecim sportowcem w historii, któremu udało się na czterech kolejnych igrzyskach stanąć na najwyższym stopniu podium w jednej konkurencji. W swoim ostatnim starcie indywidualnym na 100 m stylem motylkowym zdobył srebrny medal ex aequo z Chadem le Clos i László Csehem, kiedy wszyscy trzej pływacy uzyskali czas 51,14 s. Płynął także w sztafetach 4 x 100 m stylem dowolnym, 4 x 200 m stylem dowolnym i 4 x 100 m stylem zmiennym. Reprezentanci Stanów Zjednoczonych we wszystkich zdobyli złote medale, a amerykańska sztafeta zmienna, w której oprócz Phelpsa płynęli Ryan Murphy, Cody Miller i Nathan Adrian z czasem 3:27,95 min ustanowiła nowy rekord olimpijski.