Han var av slekten Heiberg (oldefar til tidligere Oslo-ordføreren Fabian Stang), gift med Ragnhild Meyer (1849–1937) som var datter av rikmannen Thorvald Meyer (1818–1909). Etter examen artium 1867 jobbet han i USA og i Hongkong, før han fra 1870 til 1872 var norsk-svensk konsul i Shanghai. I 1872 var han tilbake i Norge. Han finansierte etableringen av Ringnes Bryggeri (1876). Sammen med skipsreder Thomas Fearnley og bryggerieierne Amund og Ellef Ringnes finansierte han Fridtjof Nansen og Otto Sverdrups ekspedisjoner til Grønland, ved å bli reder og medeier i skuta «Fram» (se Nansens Fram-ekspedisjon). For det siste fikk sponsorene hver sin øy oppkalt etter seg. Heiberg har gitt navn til Axel Heibergs land i Canada. Også Axel Heiberg-breen i Antarktis og Axel Heiberg-øyene utenfor kysten av Sibir bærer hans navn. Heiberg ble var kommandør av St. Olavs Orden, og ble i 1897 innvalgt i Det Norske Videnskaps-Akademi. Han mottok Borgerdådsmedaljen i gull i 1923.