El castillo actual fue edificado en la segunda mitad del siglo por orden de Diego Fernández de Cabrera y Bobadilla, tercer conde de Chinchón tras haber sido el primero destruido durante las revueltas comuneras.