Hilmar giftet seg i 1887 med Ingeborg Anna Helland (1867-1949) fra Helland øst for Botngård. Hennes mor Malene (1837-1916) ble i sitt andre ekteskap gift med Johan Arnt Hegvik, som var gårdbruker, ordfører og styreformann i sparebanken. Hilmar og Ingeborg eide også Helland fra 1889 til 1893. Som lærer bodde han på Botngårdstranden. Fra 1904 til 1911 eide de gården Botngård, midt i dagens tettsted. Etter at han ble lensmann bygget han i 1909 opp gården Fridheim (nå ) på østsiden av Eidsvatnet, i daværende Stjørna kommune. Gården rommet også lensmannskontoret. Romstad var kjent som birøkter.