Para afianzar las propiedades de Manzaneque (que nunca fue puesta bajo su jurisdicción) como entidad exenta del Señorío de Orgaz, en el siglo XIV mandó levantar el castillo, en el lugar donde antes debió existir un torrejón que vigilaba la salida de Toledo hacia Andalucía por los dos portachuelos cercanos que bifurcándose en Manzaneque daban acceso al camino de Sevilla por Los Yébenes, uno y al resto de la Mancha cruzando el río Algodor hacia Consuegra, otro.