Nacido en Waukegan, Illinois, el 14 de febrero de 1894 en el seno de una familia compuesta por migrantes del entonces Imperio ruso (su padre era polaco y su madre lituana), Benny empezó a practicar el violín a los 6 años bajo la instrucción de Otto Graham, Sr., un vecino que sería el padre del jugador de fútbol americano Otto Graham.