I dag er han mest kjent som pådriver for friluftslivet i Norge, blant annet for å ha oppfordret til skigåing på sine eiendommer i området rundt hovedstaden, deriblant landstedet Sarabråten (1856) i Østmarka og Frognerseter (1868) i Nordmarka. Veien Bøler-Ulsrudvann-Korketrekkeren ble da samtidig bygd av ham. Han kjøpte i 1864 Frognerseteren og Frognerseterskogen, da kjent som Trevollskogen, av arvingene til Benjamin Wegner. Frognerseteren var opprinnelig seter for Frogner Hovedgård, men ble skilt fra hovedgården av Wegner i 1848. Han oppførte der det såkalte Heftye-huset, som i dag fremstår som selve seteren. Han oppførte det første av i alt fire Tryvannstårn i 1867, det andre i 1883.