Sarfatti ble født i Brooklyn. Foreldrene var Hyman Sarfatti, en italiensk sefardisk jøde fra Makedonia og Mildred.