I to år brukte Refsnæs kveldene til å studere på , og ble lærer Nicolaysens flinkeste elev. Etter 1890 konsentrerte han seg fullt om tegning og maling, og arbeidet uavbrutt med dette frem til sin død. Brigadelege Martens ble i 1890-årene oppmerksom på hans evner og tilbød seg å skaffe 2000 kroner fra kunstinteresserte i Bergen slik at Refsnæs kunne studere. Han var imidlertid gift og kunne ikke ta imot tilbudet.