Han var sønn av Ole Severin Kildal (1764–1818) og Karen Friis Wind (1794–1884). Faren var sorenskriver, men døde ung og mora flyttet til Kristiania. Lillebroren Daniel Kildal (1816–81) ble stortingsmann. Selv giftet Peter seg i 1844 med Christine Marie Gotaas (1817–1900), og ble far til statsråd Birger Kildal (1849–1913(.