Josef Reinhardt wurde am 1. Juni 1927 als erstes von fünf Kindern der Hausfrau Anna (* 1904 in Glattfelden) und des Weinhändlers Konrad Reinhardt (* 1895 im Elsass) geboren. Weil die Familie Sinti waren, wurde der genaue Geburtsort von Josef Reinhardt nicht amtlich vermerkt. Nach der Heirat der Eltern 1929 zog die Familie nach Ravensburg. Ab 1935 zog die Familie nach Karlsruhe und später nach Pforzheim. Mit der zunehmenden Diskriminierung in der NS-Zeit wanderte die Familie nach Vorarlberg aus. Nach dem Anschluss Österreichs an das Deutsche Reich und der Verfolgung von Sinti und Roma versteckten sie sich in Bergwäldern bei Gastein und verkauften geflochtene Körbe. Im Oktober 1939 wurde die Familie entdeckt, mit anderen Roma und Sinti in einer Scheune inhaftiert und im August 1940 in das „Zigeunerlager“ auf der Rennbahn im Salzburger Stadtteil Maxglan transportiert. Im Herbst 1940 wurde Josef Reinhardt wegen seines musikalischen Talents als Komparse für den Riefenstahl-Film Tiefland engagiert. Er spielte einen spanischen Geigenspieler. Neben ihm waren noch vier weitere Familienmitglieder als Schauspieler in dem Film tätig, unter anderem seine Schwester Elisabeth Reinhardt (* 5. Juni 1932 in Enzisweiler). Den beteiligten Sintis und Romas wurde durch das Bemühen von Josef Reinhardt eine Gage und die Freilassung nach Ende der Dreharbeiten versprochen. Dieses Versprechen wurde jedoch nicht eingelöst. Im Jahr 1943 wurden Josef Reinhardt mit Familie als Zwangsarbeiter in der Keramikfabrik Loober in Lackenbach im Burgenland eingesetzt. Nach der Befreiung am 28. März 1945 durch die Rote Armee, zog die Familie nach Friedrichshafen. Den Eltern und zwei Kindern wurden später durch einen Gerichtsbeschluss eine Wiedergutmachung zugesprochen. Josef Reinhardt arbeitete als Berufsmechaniker, heiratete 1965 seine Frau Renate und bekam mit ihr drei Kinder.