Foreldrene var Andreas Pihl (1726-1781) og Marthe Christine Flinthoug (1732-1769). Faren hadde studert teologi og filosofi København og ble sogneprest i Gausdal. Også Joachim Pihl, Abrahams bestefar, var prest i Gausdal og dessuten prost for Gudbrandsdalen. Abraham Pihl tok teologisk eksamen i 1783, i København skal også ha studert matematikk, mekanikk og astronomi. Han giftet seg med Anna Cathrine Neumann (1764-1850) i 1784, hun var datter av jernverkseier Jakob Hansen Neumann på Hassel i Modum. Anna Cathrines yngre søster var gift med Hans Hein Nysom, prest og eidsvollsmann. Anna Cathrine var gjennom sin halvbror dessuten onkel til Jacob Neumann, biskop i Bergen. Broren Ole Pihl var prest, professor og forretningsmann.