Albani vino de una familia que había tenido varios miembros importantes dentro del clero católico: su tío era el papa Clemente XI, mientras que otros tres parientes eran también cardenales prominentes.