Han kom fra en italiensk familie som nedstammet fra innvandrere fra Albania på 1400-tallet. Andre kardinaler i slekten var Gianfrancesco Albani (kreert 1690 – ble pave Klemens XI i 1700), Annibale Albani (1711), Alessandro Albani (1721), Gian Francesco Albani (1747) og Giuseppe Albani (1801).