El Colegio de San José (hoy Centro de Cultura), fue casa solariega de la Casa de los Pantoja, cuyo escudo de armas aún permanece sobre la puerta principal del edificio.