Pave Innocens X bad sin statssekretær om en anbefaling vedrørende hvem som skulle erstatte hans sørgelig inkompetente kardinalnepote, Francesco Maidalchini. Pancirolo foreslo sin sekretær, Camillo Astalli, en fjern inngiftet slektning til paven gjennom ekteskapet med Olympia. Selv om han skulle fortsette å nyte pavens ubetingede tillit, utløste dette et raseri mot ham fra Pamphilislekten og dens folk. Stadig kritikk og hans svekkede helse bidro til at han gradvis tapte innflytelse innen kurien.