Goldstein estuvo también como líder vocal en varias bandas de Nueva York como,The Shakers, The Cosmic Testes y The Garage Ensemble.