Foreldrene til Hans var Barbro (1839–1908) og Jon Hylen (1846–1939). Jon eide en jekt og drev frakt av tømmer mellom Ryfylke, Stavanger, Haugesund og Bergen. Ekteparet bygde et lite hus helt i sjøkanten i Hylen, innerst i Hylsfjorden. På denne tiden var Hylen et viktig handelssted og trafikk-knutepunkt. Huset var så nær sjøen av jekten kunne legge til ved husveggen. Ved springflo kunne det hende det at sjøen kom over stuegulvet! Sammen hadde ekteparet fem barn: Lars, Hans, Marta, Magla og John. Faren måtte være mye borte, og arbeidet hjemme falt på Barbro.