En 1855 según Pascual Madoz sólo existían algunos vestigios del castillo de "Cabarrosa", nombre por el que también era conocido y que tomaba de un río cercano, el cual a su vez toma nombre de la antigua fundación monástica de Santa María de Cavarrosa.