I 1822 ble Aabel gift med Margareta Leigh, og var far til legen og dikteren Morten Andreas Leigh Aabel og teologen Oluf Andreas Aabel. Gjennom sin datter, Christine Margrethe Aabel sitt ekteskap med distriktslege i Østerdalen, Christopher Pavels Munthe, var Peter Pavels Aabel morfar til bl.a. maleren Gerhard Munthe, forfatteren og læreren Margrethe Munthe, offiseren og militærhistorikeren Carl Oscar Munthe, samt ingeniøren og slektsforskeren Hartvig Andreas Munthe. Hans oldebarn, Peter Pavels Aabel, bedre kjent som Per Aabel, hadde samme navn som ham.