A mediados del la Cofradía de la Virgen del Castañar junto con el Cabildo Eclesiástico de Béjar, encargaron la ampliación de la ermita del Castañar y decidieron dotarla de un retablo, obra de Miguel Ciprés, y de una sacristía. Para costear el importante gasto de las obras se realizó una solicitud por parte de los vecinos al Consistorio del Concejo con fecha del 4 de agosto de 1667 en la que se solicitaba permiso para construir una plaza de toros cerrada junto a la ermita, en la que se pretendía correr "toros de limosna" con el fin de financiar las reformas con las donaciones y aumentar los devotos. El Consistorio del Conejo dio traslado de la petición a la duquesa de Béjar, Teresa Sarmiento de la Cerda –viuda del duque Juan Manuel I–, en la misma fecha. La petición fue denegada en una carta del 10 de agosto del mismo año (1667) alegando la duquesa la situación económica en la que se encontraba la localidad a consecuencia de la guerra entre España y Portugal. A cambio la duquesa ofreció el importe del coste de un toro en limosna para costear las obras. Las fiestas y juegos de toros, así como los encierros siguieron realizándose en las plazas de la ciudad en años posteriores con motivo de las fiestas patronales o en las celebraciones de eventos sociales como fue la boda en 1677 de Manuela de Zúñiga, hija de Juan de Zúñiga y Sotomayor, IX duque de Béjar –algunas fuentes lo mencionan como X duque de Béjar– y Teresa Sarmiento de la Cerda, con el conde de Benavente y Luna Francisco Casimiro Pimentel.