En el lugar actual del Palacio Arzobispal se encontraba desde 1793 el edificio de la Aduana, que sirvió de prisión para el Virrey Amar y Borbón después del 20 de julio de 1810 y de despacho para el Virrey Sámano y Pablo Morillo durante la Reconquista.