Skavlan jobbet mye med døve, og hadde jevnlige gudstjenester for gruppen og deltok i foreningslivet for døve. Han skal ha vært svært god i tegnspråk. I 1910 ble han det første æresmedlemmet i Døvstumforeningen i Trondhjem.