Men i september 1985 tapte han knepent på poeng til Michael Spinks, som dermed ble den nye IBF-mesteren. Tapet var ekstra irriterende for Holmes, for med seier ville han ha tangert Rocky Marcianos seiersrekke på 49 kamper. I returkampen i april 1986 tapte Holmes igjen på poeng, selv om mange mente at Holmes burde ha blitt tilkjent seieren. En bitter Holmes ba dommerne kysse seg bak, og han bokset ikke på nesten to år. Men i januar 1988 møtte han Mike Tyson hvilket resulterte i et knusende tap: Tyson vant på knockout i fjerde runde.