Han kom fra en italiensk familie som nedstammet fra innvandrere fra Albania på 1400-tallet. Andre kardinaler i slekten var Gian Girolamo Albani (kreert 1570), Gianfrancesco Albani (kreert 1690 – ble pave Klemens XI i 1700), Annibale Albani (1711), Gian Francesco Albani (1747), og Giuseppe Albani (1801).