Oxelberg var født i København, hvor hans fader, Peter Oxelberg, var snedkermester; moderen var Kirstine f. Malvig. Han lærte på de Thielemannske Værksteder, som hans fader bestyrede, og blev allerede 1853 snedkermester. Derefter rejste han imidlertid 1½ år i udlandet og opholdt sig navnlig i Berlin og Wien, hvor han fik øjet op for maskinernes store betydning for nutidens snedkervirksomhed. Efter yderligere at have sat sig ind heri på Verdensudstillingen i Paris 1867 etablerede han 1872 det første og største maskinsnedkeri i København. Han havde imidlertid ikke alene interesse for sit fags mekaniske udvikling, han virkede også for, at det skulle gøre skønhedens fordringer fyldest. Efter i 1877 at være blevet næstformand for Snedkernes Tegneforening valgtes han 1886 til dens formand. Hvad han tilstræbte, kan ses i de smukke, udskårne mahognitræs døre, som han 1881 skænkede til festsalen i Det tekniske Selskabs Skole, og i Kongeværelset på den Nordiske Industri-, Landbrugs- og Kunstudstilling i Kjøbenhavn 1888, et værelse, han senere forærede Det danske Kunstindustrimuseum, hvor det nu er opstillet. Fra 1876 var han medbestyrer i Københavns Snedkerlav. 1881 blev han Ridder af Dannebrog. 15. juli 1890 afgik han ved døden.