Heifetz nació con el nombre Iósif Ruvínovich Heifetz en el seno de una familia de origen judío en Vilna (Lituania, que entonces formaba parte del Imperio ruso).