Refsdal var sønn av lærer og stortingsrepresentant Anfinn Refsdal (1839–1920). Han ble uteksaminert fra Hamar lærerskole i 1885, og var lærer i Jondal, Arnafjorden og Arendal før han kom til Foss skole i Kristiania i 1901.