Durante el reinado de Carlos III y al calor del espíritu ilustrado de la época, se cedieron los locales del Santo Oficio junto a la iglesia de San Vicente Mártir y se construyó sobre su solar un edificio propio, poniéndose la primera piedra el 6 de junio de 1796.