Refsnæs ble født på gården Refsnes ved Stad, og var i sin ungdom fisker, inntil han i 20-årsalderen reiste til Bergen. Han startet da på , og fikk etterhvert en utmerket eksamen. Ferdig med sin eksamen startet han å male, og senere ble kunstnerlivet hans livsgjerning.