Nacido en una familia pobre, Frazier abandonó la escuela a los trece años de edad para trabajar y a los 16 empezó como aprendiz en una carnicería de Filadelfia.