Heiberg var født i Nes i Hedmark som sønn av bonde Peder Heiberg og hans kone Berthe, født Skjelve. Gustav Heiberg ble cand.jur. i 1882. Samme år giftet han seg med Agnete Ousdahl (1852–1930), også hun fra Nes. Han var først lærer i 1882 til 1883, deretter fra 1883 advokat og senere, i 1890, høyesterettsadvokat.