Le pape retrouva sa résidence à la chute du Premier Empire et Pie VII fut le dernier à l'occuper. Léon XII son successeur choisit de vivre au Vatican et, sous le pontificat de Pie IX en 1870, année où Rome fut annexée au royaume d'Italie après l'entrée des troupes italiennes dans la ville, le , le Pape se retira derrière les murs du palais apostolique et il s'y considéra comme prisonnier.