Acciaioli-familien, også stavet Acciaiuoli eller Acciajuoli, kom fra Firenze. Filippo Acciaiuoli var den tredje av seks barn til Ottaviano Acciaoili, Marchese av Novi, og hustruen Mariana Torriglioni fra Ancona. Han var nevø av kardinal Niccolò Acciaiuoli. En tidligere kardinal fra samme familie var Angelo Acciaioli. Ved hans dåp hans i den romerske kirke var gudfaren hans erkebiskop Michelangelo Conti, den senere pave Innocens XIII. Han fikk først utdannelse i foreldrenes hjem i Firenze, deretter gikk han på jesuittenes Collegio Romano, og han studerte senere ved universitetet La Sapienza i Roma, hvor han tok doktorgraden den 13. august 1722 som .