El castillo que ha llegado hasta nuestros días se asienta sobre una primitiva fortaleza, alrededor de la cual se articulaba el señorío de Chinchón, ostentado por la familia de los Cabrera desde tiempos del rey Enrique IV de Castilla.