El palacio fue residencia de la familia de Peñaflor hasta 1958, cuando falleció la marquesa viuda sin descendencia.