A continuación fue usada como residencia veraniega por Gregorio XVI y posteriormente, al menos hasta 1870, por Pío IX; ambos pontífices aportaron más mejoras al edificio.