Han var født og oppvokst i Trondhjem som sønn av fogd i Strinda og Selbu fogderi Olaf Hannibal Sommerfeldt Klingenberg og hustru Henriette Schønheyder. På farssiden var han av embedsmannsslekt i Trøndelag av dansk opphav. Farbroren Halfdan Frederik Klingenberg grunnla et fremgangsrikt handelshus i sitt navn. Biskop i Trondhjems stift Johan Christian Schønheyder var hans oldefar på morssiden; en slekt som også stammet fra Danmark.