Se establecieron en el Lower East Side de Nueva York, y Ornstein se enlistó en el Instituo de Artes Musicales, predecesor de la Juilliard School, donde estudió piano con Bertha Feiring Tapper.