Giovanni Francesco Albani stammet fra en fornem italiensk familie hvis forfedre hadde flyktet til den italienske halvøy fra Albania på 1400-tallet. Hans foreldre var Carlo Albani, fyrste av Soriano, og hans hustru Teresa Borromeo. Andre kardinaler i slekten var Gian Girolamo Albani (kreert 1570), Gianfrancesco Albani (kreert 1690 – ble pave Klemens XI i 1700), Annibale Albani (1711), Alessandro Albani (1721) og Giuseppe Albani (1801).