Desde entonces, y hasta la Desamortización de Mendizábal, el edificio permaneció en la familia Velázquez.