Halvor Schou var en sentral person i det sosiale liv i hovedstadens overklasse. Han var gift med Anna Cecilie Crowe, som var datter av den engelske konsulen. De kjøpte Sinsen gård i 1855 og anla en mye omtalt vinterhage med eksotiske planter og frukter. Stedet var et sentrum for selskaps- og kulturlivet i byen. I 1872 utvida han virksomheten gjennom å kjøpe Vøyen Mølles vannfall.