I 1867 flyttet Ihlen til Drammen og startet en kommisjonsforretning. I 1871 giftet han seg med Othilie Regine Poulsen, som var datter av gårdbruker Godberg Poulsen på Ullern ved Hokksund. Han flyttet tilbake til Eiker og overtok svigerfarens gård. Forretningen i Drammen ble overtatt av den yngre broren, Knut Edvard Ihlen.