Josef Hilmar Jørgensen giftet seg den 16. mai 1922 med lærer Annette Wirstad (1894–1991), som var datter av kjøpmann Ole Olsen Wirstad (1846–1923) og kona Karen Hansen (f. 1855). Josef Hilmar og Annette hadde tre barn: Ole Gunnar, Bjørn og Anne Marie Jørgensen. Anne Marie giftet seg i 1954 med Kåre Willoch.