El edificio fue más tarde ocupado por Alberto de Sajonia-Teschen, que lo utilizó como residencia y más tarde hizo traer su colección desde Bruselas, donde había ejercido como gobernador de los Países Bajos de los Habsburgo.