El palacio y la iglesia estuvieron, primitivamente, separados por un callejón hasta 1877, año en que se les unió mediante el muro que hoy puede verse a lo largo de la bajada de San Bartolomé.