En 2004 vino la gran caída de Jones, primero trata de retener seis títulos semipesados de la IBA, IBO, NBA, WBA, WBC y WBF ante su último oponente Antonio Tarver, el mundo del boxeo es sorprendido cuando Jones es derrotado por nocaut en el segundo asalto ante Tarver perdiendo gran parte de sus cinturones, meses después busca retener su título semipesado de la IBF ante Glen Johnson, fallando otra vez siendo noqueado en el noveno asalto y perdiendo así todos sus cinturones de los semipesados.