Hjalmar Wessel tilhørte den kjente slekten Wessel. Foreldrene var oberstløytnant Jonas Wessel (1841-1910) gift med Hanna Flood (1852-1879) fra Porsgrunn.