Jacob Thurmann Ihlen giftet seg med belgiske Ambroisine Pauline Rouquet i februar 1868 i Vår Frelsers kirke, og paret fikk fem barn. Ihlen oppførte Huitfeldts gate 3, der familien bodde til hans død. Datteren Celina giftet seg med godseier og politiker Christian Pierre Mathiesen, og ble mor til seks barn. En annen datter, Barbara, giftet seg med advokat Arthur Knagenhjelm. Datteren Marie giftet seg med biskop Jens Gran Gleditsch. Deres sønn Jacob Ihlen ble advokat og offiser, og eide Parkveien 37 en tid.