Like etter at Oskar ble født, flyttet familien fra Trondheim til Nord-Østerdalen, der han vokste opp i fattige kår, men i et hjem med mye musikk. Familien hadde blant annet et harmonium.