Un insigne propietario de este palacio fue Vicente Osorio de Moscoso y Ponce de Léon, Grande de España, duque de Sessa y de Montemar, marqués de Astorga, de Leganés, de Ayamonte y de San Román, conde de Cabra y de Altamira, vizconde de Iznájar, etc.