Das Gebäude wurde dann im Laufe der Geschichte unterschiedlich genutzt. Verwaltungsorgane zogen ein, 1845 befand sich in einem Teil des Gebäudes eine Gastwirtschaft. 1869 wurde dort die städtische Gemäldesammlung untergebracht, die 1870 im Zuge der Kriegshandlungen zwischen Frankreich und Deutschland durch einen verheerenden Brand vernichtet wurde, nach dem nur noch die Fassade der Aubette erhalten blieb.