Refsal vokste opp på en gård i nærheten av Hoffman i Minnesota som hans norske besteforeldre hadde bygget opp. Allerede som smågutt begynte han å arbeide med tre. Faren hans var snekker og bonde, og i nærheten bodde en onkel som var treskjærer og som holdt ham godt forsynt med emner, verktøy og oppmuntring.