Hjelmeset er oppvokst på Vereide i Gloppen kommune, nærmere bestemt på gården Hjelmeset ved Anda nordvest i kommunen ved Nordfjorden, og er nest eldst av fire søsken. Skifamilien Hjelmeset er en idrettsfamilie. Odd-Bjørns sønn, Lars Agnar Hjelmeset ble juniorverdensmester i stafett i 2021. Odd-Bjørns yngre bror, Roar, var landslagstrener for det norske sprintlandslaget for kvinner fra 2016 til mai 2018. Han har også vært langrennsløper og deltatt på Fjellhug/Vereide Hyen ILs stafettlag i NM flere ganger. Kusinen, Bodil Hjelmeset, som vokste opp på nabogården like ved Sandane lufthavn, er en av Norges beste spydkastere gjennom tidene (nummer 10 per 2013), og har fem sølvmedaljer fra NM.