Begge hans foreldre var barn av norske innvandrere, og Harley Refsal snakket flytende norsk. Etter å ha tatt eksamen i norsk og sosiologi ved Augsburg College i Minneapolis i 1968, studerte han ett år ved Universitetet i Oslo. Deretter studerte han teologi i ett år ved Luther Theological Seminary i St. Paul i Minnesota. I 1972 ble han ansatt ved Luther College i Decorah i Iowa, hvor han hadde ulike stillinger gjennom en universitetskarriere som varte til han gikk av med pensjon i 2010. Da han nådde pensjonsalderen hadde han undervist i flere år ved Luther Colleges studieretning (skandinavisk folkekunst).