Sin embargo, con la Reconquista y posterior repoblación del reino de Toledo (siglos y ) muy pronto existieron conflictos con el concejo de Madrid, e incluso con Guadalajara, a través de la presencia en la zona del Real de Manzanares y su castillo, vinculado al Ducado del Infantado, de la familia Mendoza.