Durante el siglo XIV y parte del XV se mantiene el Señorío de los García de Toledo, hasta que se extingue esta familia y pasa a don Diego López de Toledo.