Growing up on Manhattan's Upper East Side, Frankenthaler absorbed the privileged background of a cultured and progressive Jewish intellectual family that encouraged all three daughters to prepare themselves for professional careers.
Duke u rritur në Anën e Epërme të Manhatanit, Frankenthaler përvetësoi sfondin e privilegjuar të një familje intelektuale hebreje të kulturuar dhe progresive që inkurajoi të treja vajzat që të përgatiten për karrierë profesionale.