Han var sønn av Thomas Bugge Pihl (1793–1863) og sønnesønn av vangsprosten, kongelig astronom og instrumentmaker Abraham Pihl. Etter en kort periode til sjøs studerte han tekniske fag ved Chalmerska i Göteborg, og fikk en sterk interesse for naturen. Han lærte seg også å stoppe ut fugler. Han ble tilbudt en konservatorstilling ved Göteborgs Museum men reiste i stedet til England for å få praksis som ingeniør og arbeidet blant annet under den kjente jernbanebyggeren Robert Stephenson. I 1850 dro han tilbake til Norge og ble i 1851 ansatt ved anlegget til Norsk Hoved-Jernbane fram til åpningen av banen i 1854, hvoretter han var i England igjen et års tid. Etter en kort periode ved kanalanlegget i Skien ble han Norges første amtsingeniør, i Akershus. Som amtsingeniør konstruerte han flere broer.