Faren Ole N. Dversdal var bonde, lærer og kirkesanger. Navnet Haarklou hadde han fra moren Orlaug A. Haarklou, som arvet gården Harklau. Haarklou kom fra en slekt med mange spelemenn, og folkemusikk fra området ble en del av oppveksten hans i Sunnfjord. Johannes skal ha begynt å spille fele allerede da han var syv år gammel.