Nacido bajo el nombre Yoshe Maurer Neumann en la ciudad de Boryslav, entonces parte de Austria y hoy dentro de Ucrania, José era el hijo del zapatero local y desde pequeño fue famoso en la ciudad por su talento como violinista, cantante y actor aficionado.