Carlos I, consiguió de los papas Clemente VII y Paulo III, las bulas necesarias para poder vender en 1541, la villa de Pastrana a Ana de la Cerda y Castro, condesa de Mélito, en Nápoles, que es quien comienza la construcción del palacio ducal.