Al morir su madre en 1923 y con su padre en paro, el hermano más joven de Howard, Julius, fue a vivir con los parientes, mientras que Howard y su hermano mayor Jerome trabajaron vendiendo periódicos.