El territorio es donado a una sucesión de infantes bastardos, y futuras reinas y reyes, comenzando por el infante Fernando Alfonso, Señor de Ledesma (1341-1350), uniéndose su señorío al denominado de las "cinco villas".