Hacia 1476, Juan de Oviedo se adueñó de la villa y ordenó la construcción de una torre, conocida en la actualidad como Torreón de Arroyomolinos o Torre del Pan.