Som lokalhistoriker og bygdebokforfatter skrev Hyldbakk til sammen om lag 11 000 sider, blant annet bygdebøker for seks ulike kommuner og i flere jubileumsskrifter fra hjemtraktene. Han skrev åtte bygdebøker på til sammen 17 bind. På den tiden var det få bygder som hadde egne bygdebøker. Bygdebøkene ble gitt ut i perioden 1942-1972. Han regnet selv (1942) som det viktigste arbeidet. Hyldbakk utførte et nybrottsarbeid da han skrev historien om hjembygdas husmenn og husmannsplasser, som utkom i 1942. For dette arbeidet fikk Hyldbakk tilnavnet «småkårsfolkets historiker». Han forfattet syv jubileumsskrifter og medvirket til lokalt. Han medvirket til verkene og .