Det var som utenriksminister Ihlen ble kjent, særlig for sin innsats for å holde Norge nøytralt og uskadet gjennom første verdenskrig. Interesse for industri og næringsliv førte til at ble ordfører i Skedsmo, stortingsrepresentant for Venstre, og deretter arbeidsminister i perioden 1908–10 i Gunnar Knudsens første regjering. Dette passet bra, siden bedriften hans produserte jernbanevogner, og norsk jernbanebygging lå under arbeidsdepartementet. Han sørget for å få realisert den første landsdekkende jernbaneplanen og stilte på Finse da Bergensbanen åpnet. Ihlen hadde mye til felles med Gunnar Knudsen som også var ingeniør og arvtaker til en familiebedrift, og da Gunnar Knudsens andre regjering ble dannet i 1913, ble Ihlen invitert tilbake i regjering. Han ønsket seg sin gamle post, men bare posten som utenriksminister var ledig. Utnevnelsen vakte forundring, for Ihlen kjente ingenting til diplomatiet, til jus eller statsvitenskap; og vel uttrykte han seg godt på tysk og fransk, men engelsk kunne han ikke.