I 1596 er kong Filip II av Spania eier av huset, og i 1623 er det overtatt av Wenceslas Cobergher. Byen Brugge kjøpte huset i 1875, og arkitekten Louis Delacenserie hadde ansvaret for restaureringen mellom 1883 og 1895.