Este castillo tiene la peculiaridad de que debajo del castillo que mandó construir don Juan Pacheco en 1458 al maestro Martín Sánchez Bonifacio, existe el castillo que en su día habitó don Juan Manuel, que a su vez es continuación del que habitara Garci-Muñoz y del que en su día destruyó el califa Yusuf en su expedición de 1172 contra la ciudad de Huete.