Allyson Schwartz, urodzona jako Allyson Young w dzielnicy Queens w Nowym Jorku, jest córką Everett Young i Renee Young. Jej matka pochodzi z Austrii, z której uciekła do Stanów Zjednoczonych w 1938 po Anchlussie. Trafiła do żydowskiej rodziny zastępczej w Filadelfii. Jej ojciec był dentystą w Queens oraz weteranem wojny koreańskiej. Ma także brata oraz dwie siostry. Schwartz ukończyła Calhoun School, a w 1970 Simmons College w Bostonie ze stopniem licencjata z socjologii oraz magistra z pracy społecznej na Bryn Mawr College w 1972 r.