Hjalmar Wessel var gift med Ellen født Jeremiassen (1876-1967), datter av Johan Jeremiassen (1843-1889), grunnlegger av Porsgrunds Porselænsfabrik, og gift med Ellen Serine født Knudsen (1846-1937) som var datter av skipsreder Christen Knudsen (1813-1888), Porsgrunn, og søster av skipsrederne og politikerne Jørgen Christian Knudsen og Gunnar Knudsen. Ellen Wessel var medforfatter av slektsboken , 1929, opptrykt i 1999.