En origen era, junto con la iglesia de Nuestra Señora del Pilar, un único conjunto, correspondiente al castillo medieval.