Han debuterte med diktsamlingen Harpespel i 1929. Totalt utga han ti diktsamlinger, seks prosabøker, elleve bygdebøker og sju jubileumsskrifter. Hyldbakk drømte om å bli romanforfatter, men Aschehoug refuserte debutmanuset «Gunnar Hjelen» i 1930 og Hyldbakk brente manuset. Med ett unntak kom alle diktsamlingen ut før 1942 og etter 1972. Han ga ut en diktsamling da han var 100 år. Avisføljetongen (1927–28) ble gitt ut i 2011 ti år etter at han døde.