Su padre, Abraham, era un inmigrante judío que había llegado desde Rusia para hacer fortuna en Norteamérica, y que quiso inculcar a sus dos hijos, Benny y Louis, su gran afición por la música, enseñándoles a disfrutar con su gran colección de discos de ópera y conciertos sinfónicos, y regalándoles a cada uno de ellos un instrumento musical.