Han ble født i Trondhjem (fra 1931 Trondheim) i 1871, som sønn av overrettssakfører Sverre Olafssøn Klingenberg (1844–1913) og Hilda Johannesdatter (1843–1912). Han var dermed av en relativt velstående familie med jurister i flere slektsledd. Odd Klingenbergs søsken var høyesterettsadvokat Olaf Klingenberg, bygningsingeniør Sverre Klingenberg, topograf Kaare Klingenberg, Roar Klingenberg, Hedin Klingenberg og Hilda Klingenberg. Han var forøvrig sønnesønn av fogd Olaf Hannibal Sommerfeldt Klingenberg, grandnevø av major Johannes Benedictus Klingenberg, samt nevø av generalmajor Trygve Olafssøn Klingenberg.