Natalie Rogoff ble født inn i en russisk-jødisk immigrantfamilie i New York. Hennes far, Samuel Rogoff (1892-1984) var lærer, og hennes mor, Sarah Rogoff (1892-1968) var lærer og sanger.