En el primer cuarto de siglo XVII el palacio fue considerablemente ampliado, siendo su dueño Pedro Alfonso Flores, vizconde de Peñaparda.