Villaen ble opprinnelig bygget i 1899 for tidligere sogneprest Hans Karl Christopher Theodor Houen og ektefelle Minda f. Paus fra Skien, og tegnet av arkitekt Morten Wagle. Houen tilhørte en skipsreder- og bankierfamilie i Skien og hadde tidligere vært sogneprest i Lunde; han var sønn av Skiens største skipsreder Hans Houen, mens Minda var datter av Henrik Johan Paus og dermed kusine til Henrik Ibsen. De flyttet inn i villaen i 1900, og levde av hans betydelige formue etter at han hadde arvet store verdier fra foreldrene. Karl Houen var svært musikalsk, og behersket orgel, fiolin og piano, var en ivrig sanger, og dessuten virket han som kunstmaler.