Han lot i 1848 oppføre en sommerbolig på Tøyen, en av landets første sveitservillaer. Disse «Heiberghusene» (to hus forbundet av en svalgang) var også tegnet av Johan Henrik Nebelong. Området rundt ble kalt «Heibergløkka», og er i dag den eneste gjenværende av tjue «professorløkker» som ble anlagt etter området ble regulert (ved kongelig resolusjon). Etter Oslo kommune overtok de i 1935 ble de til samfunnshus en tid. Villaene ble i 1964 restaurert og man fikk «Heibergløkka barnehage» som fremdeles (2013) er i drift.