Para 1960, con la Orquesta Filarmónica de Nueva York en el Lincoln Center, había planes de demoler el edificio y reemplazarlo por un edificio comercial, así que Simon vendió el edificio.