Han var sønn av Ole Houen og Christiane Margarete Lund, og bror av Christopher Holfeldt-Houen. Faren var lærer ved Arendal Borger- og realskole, men ble senere kjøpmann. Som 15-åring reiste han fra Norge, og i 1845 startet han eget firma i Newcastle i England, hvor han drev handel med diverse land rundt Middelhavet. Der giftet han seg med Mary Ann Tompson, og sammen fikk de fire barn. Han trakk seg tilbake som 50-åring med en betydelig formue, og han tilbrakte mesteparten av sine siste år i Firenze i Italia.