Han ble gift andre gang i 1843 med Dorothea Kirstine Blom (1815–1894), datter av kjøpmann i Skien Christopher (Albertsen) Blom og Gunhild Kristine Bøysen (Ording). De hadde kun et barn, sogneprest i Lunde Karl Houen (1845–1912), som var gift med Henrik Johan Paus' datter Minda. Karl ble beskrevet som meget musikalsk, og han og Minda bosatte seg senere ved Christiania der de fikk bygget villaen Frognerveien 53.