Etter farens død vokste Høyer opp som pleiesønn hos skipsreder Hans Houen, og overtok ved dennes død som leder for Houens rederivirksomhet.