Simmons har familiebakgrunn fra Ungarn. Foreldrene ble født i småbyen Jand. Under andre verdenskrig var moren, Nora Klein, internert i konsentrasjonsleir. Morens mor, brødre, bestemor og mesteparten av familien ellers ble drept under holocaust. Moren satt i Mauthausen da leiren ble frigjort av amerikanske styrker 5. mai 1945, hun var da 19 år gammel. Hun fortalte amerikanske etterforskere i Koblenz at hun hadde vært innom Ravensbrück og Flossenburg. Moren snakket lite om opplevelsene under krig. Simmons far var snekkeren Jechiel Weitz og han flyttet sammen med Nora Klein til Israel 1947. Foreldrene ble skilt og moren flyttet til New York med sønnen i 1958.