Cerca del Castillo se encontraba el convento de Dominicas de la Laura, fundado a principios del siglo XVII por María de Toledo, duquesa de Alba, que viajó a Peñalba para traer importantes reliquias de San Genadio y sus compañeros, y que se trasladaría a los pocos años a Valladolid.