Ray Mercer gikk så på ett nytt poengtap mot Evander Holyfield i 1995. Han bokset imidlertid mot Lennox Lewis i en ti runders kamp i New York i 1996. Mercer tapte en splittet dommeravgjørelse. Etter tapene mot Holyfield og Lewis var Mercer ute av bildet om ny tittelkamp. Han la opp i 1997 etter å ha fått diagnosen hepatitt B. En kamp mot Mike Tyson ble planlagt i januar 2002, men avlyst da Tyson i stedet takket ja til tittelkamp.