Han var bror av major Johannes Benedictus Klingenberg, samt far til generalmajor Trygve Olafssøn Klingenberg og overrettssakfører Sverre Olafssøn Klingenberg.