Etter cand.jur. i 1900 var han dommerfullmektig et par år og sekretær i Justisdepartementet 1902–06. Han tok advokaturen i 1906 og drev fra 1914 eget firma, fra 1926 sammen med H. J. Grundt og fra 1940 også sammen med sønnen Axel Heiberg jr. (1908–88).