Han var bror av læreren og forfatteren Ole Haugen-Flermoe, og gjennom søsteren Anne var han svoger med forfatteren Halvor Floden. Sønnen Sigbjørn Hougen og sønnesønnen Olav Hougen videreførte bokhandelen.