Han var sønn av arkitekt Bernt Heiberg, og med det sønnesønn av advokat Axel Heiberg.