Desde fines de la década de 1990 la situación financiera de Frazier se agravó y en sus últimos años terminó viviendo en un apartamento alquilado (por el cual no pagaba renta gracias a la generosidad de un admirador), localizado en el segundo piso de un gimnasio ubicado en una zona pobre de Filadelfia, adonde el ex campeón entrenaba a jóvenes boxeadores.