Gården Hyllmarka vest for Eidsvatnet var en husmannsplass hvor Gustavs oldefar Guttorm Andersen Hyllmark (1804-1874) ble den første selveieren i 1834. Både Guttorm Hyllmark senior og sønnen Guttorm Olsen Hyllmark (1865-1962) var aktive i kommunepolitikken. Guttorm junior satt i kommunestyret i 18 år, og var varaordfører den siste perioden. Gustav overtok gården Hyllmark fra faren i 1922, og ga den videre til sønnen i 1957.