Han eide en bygård på hjørnet av Karl Johans gate (Oslo) og Rosenkrantz' gate (Oslo), den såkalte «Heiberggården», oppført 1844 av Johan Henrik Nebelong. Det er nr. 31 i Karl Johan-kvartalet. Selv bodde han i andre etasje, mens Anton Martin Schweigaard bodde i første. Fra 1848 til 1851 drev Fredrik Glad Balchen sin nystartede døveskole her. Med andre gårdeiere ble Heiberg medeier av den motstående tomt (såkalt «Gårdeiertomten»), som i dag er Studenterlunden med hjemmel om at området ikke skulle bebygges, man ønsket ikke tettbebyggelse. Etter hans død i 1872, ble Heiberggården kjøpt av konditor Julius Fritzner som bygde på en etasje og åpnet Grand Hotel i 1874.