Während des Krieges um Kreta stand das Gebäude von 1645 bis 1669 leer, erneut ab 1684. 1648 ging der Rest des Gebäudes an die Familie Pesaro zurück. Erst ab 1751 einigte man sich, dass die Pesaro ein Drittel des Gebäudes entlang der Salizada vermieten durften. Das Gebäude verursachte jedoch enorme Kosten und so verkaufte der letzte Pesaro-Besitzer, der in London lebte, das Gebäude, das er 1830 geerbt hatte, 1838 an einen Immobilienspekulanten namens Antonio Busetto. Trotz Widerstands der Stadt und der österreichischen Verwaltung brach er zwei Drittel des Gebäudes ab. Es blieb nur die Fassade und die unmittelbar dahinter liegenden Räume, die die Fassade hielten.