Allerede 12. juni 1678 døde han. Han etterlot seg enken Catharine Valentinsdatter Køler, datter av presten i Kalundborg, og som han hadde ektet i 1653. Hun ble i 1681 gift med professor Jens Jensen Bircherod. Der var i Pontoppidans ekteskap kun ett barn, en sønn Valentin, som ble dansk resident i Venezia og adlet med navnet Lillienkrantz, men med hvem slekten og navnet døde ut.