Después pasaría a ser de la Familia Bazán, quienes construyeron un palacio en su interior abriendo grandes ventanales con vistas al desaparecido puente medieval.