La Casa de Béjar será la dueña de Peñalsordo hasta 1777 en que muere el último duque sin descendencia, Joaquín de Zúniga y Sotomayor, XII duque de Béjar.