Schwartz ble født Anna Jacobson i The Bronx i New York av jødiske foreldre som hadde innvandret fra Øst-Europa. Hun var den tredje av fem søsken. I 1936 giftet hun seg med Isaac Schwartz, paret fikk to sønner og to døtre.