Han var bondesønn, født og oppvokst på garden Svor i Hornindal, med foreldrene Rasmus Kristofer Svor (1835–1914) og Ragnhild Svor f. Seljeset (1833–1902). Allerede som gutt viste han uvanlige evner i treskjæring, noe som skulle bli starten på kunstnerlivet hans. 17 år gammel reiste han til Christiania, der han begynte som treskjærer ved Brødr. Hals‘ pianofabrikk. Senere ble han elev ved Den kongelige tegneskole. 21 år gammel dro han til København, der han ble elev ved København Kunstakademi.