Han var gift med Margit Olavsdotter Haugen (1902–1997), datter av mangeårig Venstrepolitiker i Bø, Olav Olavsson Haugen. Halvor Myrvoll var etterkommer i mannslinjen av capitaine des armes Ole Pedersen (1677–1726) fra Sjøbua i Sauherad og Aaste Sophie Scheidener (død 1798), datter av løytnant Christopher Gothard Scheidener (1673–1737) og Anna Margretha von Hollen (f. ca. 1680), som skal være fra Livland. Han var også etterkommer av de kjente storbøndene Sveinung Vreim, Halvor Borgja og Olav Folkestad gjennom en rekke slektslinjer.