Han var sønn av sogneprest Andreas Pihl (1726–1781) og Martha Christine Flinthoug, og yngre bror av den kjente presten og oppfinneren Abraham Pihl (1756–1821).