Tras la derrota en la batalla de Uclés, en el año 1108, perdió el castillo y este fue una amenaza constante para el reino de Toledo al controlar el vado del río y permitir su paso a expediciones que avanzaban por la orilla derecha hacia la ciudad, anulando la cabeza de puente del castillo de San Servando.