Henry Franklin Graff var sønn av Florence B. Morris og Samuel F. Graff, faren var selger i Garment district i New York City. Foreldrene var fra New York, og av tysk-jødisk bakgrunn. Han hadde en tvillingsøster, Myra Balber.