Es decir: bendijo con la derecha a los sublevados y con el izquierda excomulgó a los ocupantes. Como consecuencia, el palacio Episcopal fue ocupado durante dos años por los militares. Pasada ya la revuelta, el año 1756 se obispo recibió en su palacio al mismo Papa, entonces Benedicto XIV, un privilegio entonces extraordinario. Con motivo de esta visita se abrió la capilla contigua al comedor, conservada aún hoy, donde los obispos decían misa cada mañana. A lo largo de los sitios napoleónicos de 1808 y 1809 el edificio sufrió numerosos daños, más aún cuando los franceses, después de haber entrado en la ciudad, lo registraron de arriba abajo con el pretexto de encontrar un arsenal de armas. No fue hasta el año 1898, terminados los conflictos, que el edificio adquirió el aspecto que tiene hoy, cuando el obispo Tomás Sivilla compró la casa Falla, con el Jardín de los Escudos y el Patio del Pozo.