Holmes forsvarte sin WBC-tittel hele 17 ganger, inntil han den 11. desember 1983 frivillig sa fra seg tittelen til fordel for den nye bokseorganisasjonen International Boxing Federation (IBF). Som IBFs tungvektsmester forsvarte Holmes sin verdensmestertittel tre ganger, hvilket tilsammen med de 17 ganger han forsvarte WBC-tittelen, gjorde at han kom opp i hele 20 kamper der han beseiret sine utfordrere i kamp om verdensmestertittelen i tungvektsboksing.