Joseph Magnani est né à LaSalle dans Illinois de John et Gonda Magnani, fils d'immigrants italiens. Son père était mineur de charbon. Peu de temps après sa naissance, la famille déménage à Mount Clare, dans l'Illinois, où le père continue à travailler comme mineur. En 1928, lui et sa sœur Angeline sont envoyés en France, où il commence à s'intéresse aux compétitions cyclistes. Il rejoint une équipe amateur locale et passe finalement professionnel, roulant pour des équipes cyclistes professionnelles françaises et italiennes de 1935 à 1948. Sa carrière a été interrompue par la Seconde Guerre mondiale et son emprisonnement dans un camp de concentration. Après sa libération, il reprend la compétition et représente les États-Unis dans la course professionnelle sur route des championnats du monde de 1947 à Reims, terminant septième. En 1948, il revient aux États-Unis pour une réunion de famille et finit par y rester. Il épouse Erminia (Mimi) Soria et ils ont un fils, Rudy.