Construida a finales del siglo XIII por Payo Arias de Cabrera, fue restaurada a finales del siglo XIX por su propietario don Ricardo Martel Fernández de Córdoba, IX Conde de Torres Cabrera, que hizo una gran inversión, adecentando el castillo, reconstruyendo graneros y molinos aceiteros, y enriqueciendo la zona señorial con amplios salones.