对抗帕尔马公国的卡斯特罗战争，乌尔巴诺八世于1644年去世后，英诺森十世继任，虽然乌尔巴诺八世去世前几个月才与法尔内塞家族的帕尔马公爵签订和平协议，但英诺森十世选择继续战争，并于1649年下令将卡斯特罗夷为平地结束这场战争。英诺森十世在上任后开始调查巴贝里尼家族在战争期间的作为，巴贝里尼家族被迫逃亡海外，直到与英诺森十世的姪孙女，联姻而和解。
家族绝嗣.1760年，家族首领吉罗拉莫·潘菲利（Girolamo Pamphili）没有留下男性后裔便去世了，潘菲利家族失去了男性继承者。