70年，家族成员安东尼奥·潘菲利（Antonio Pamphili）买了帕斯魁诺广场的部分房子，在安东尼奥与他的儿子安杰洛·班奈迪托（Angelo Benedetto）及其妻子艾米利亚·梅里尼（Emilia Mellini）的扩充下，这几间房子成为现今潘菲利宫的核心部分。由于安杰洛与西斯都四世私交甚笃，他也担任了许多政府职务。安杰洛的儿子潘菲利欧（Pamphilio）娶了奥拉奇亚·马泰（Orazia Mattei），他们的儿子被擢升为枢机，增加了潘菲利家族的威信。
英诺森十世.16