Han var av dansk embedsmannsslekt som sønn av premierløytnant i marinen og kammerråd Lorentz Alexander Oxholm og hustru Margrethe Hedevig Bastholm. Farbroren var generalmajor og generalguvernør i Dansk Vestindia Peter Lotharius Oxholm, mens morbroren var prest Christian Bastholm, i samtiden en høyt ansett predikant og teolog. Foreldrene kom til Trondhjem fra København et par år før han ble født. Faren ble kobbertollforvalter, senere byens måler, veier og vraker.