Finalmente los Bazán, a través de Pedro de Zúñiga Avellaneda y Bazán, V conde de Miranda, trasladaron su residencia definitiva a La Bañeza, con el título de Marqués concedido en 1565, lo que motivó el inicio de la decadencia de Palacios de la Valduerna.