Né en Bessarabie à Chișinău (à l'époque Kichinev dans l'Empire russe), officiellement le (mais il est possible qu’il ait triché sur son âge) de parents tués peu après dans un des deux pogroms de sa ville natale (1903 et 1905, mais il se peut aussi que ses assertions soient fausses), Joseph Joanovici arrive en France en 1925 et devient chiffonnier-ferrailleur. Bien qu’illettré, par son travail, sa gouaille et son protecteur Yacoub (Jakub dans la version polonaise du prénom Jacques), un immigré polonais lui aussi ferrailleur, Joanovici devient "Monsieur Joseph", un ferrailleur réputé à Clichy en banlieue parisienne.