Po śmierci Izabeli Poniatowskiej rezydencja przeszła w 1809 roku na własność Marianny Potockiej, żony ministra Tadeusza Mostowskiego, a potem na Aleksandra Komara (męża Pelagii, córki Marianny i Tadeusza). W tym czasie doszło do zaniedbania założenia pałacowego, które oddano w dzierżawę, a w jednej z oficyn założono manufakturę sukienniczą. Pałac został uszkodzony w 1831 roku podczas Powstania listopadowego i stał pusty.