Han var sønn av Lars Birkeland (1775–1834) og Johanne Helene Baade datter av presten i Borgund, Peter Daniel Baade. Faren var kapellan i Borgund den tid Peter ble født. Fra 1821 gikk han på Bergen katedralskole og i 1832 ble han cand.theol.. Han giftet seg i 1836 i Nidarosdomen med Severine Elise Angell Gram (1816–1908) fra Steinkjer, datter av rittmester Einar Schavland Gram.