Budova byla během staletí několikrát přestavována. Její nejstarší část pochází ze 17. století. Patrový dům byl zbudován z vápence, vepřovic a různých dalších materiálů. Do roku 1820 byl dům rozšířen do dnešní "Despićovy ulice" zastavěním proluky a spojením se sousední budovou. Přistavěn byl také velký sál. Dům byl těžce poničen při požáru v roce 1879 a následně obnoven v roce 1882, kdy získal současnou podobu. V roce 1990 byla obnovena střecha budovy. Dům byl poničen během války v 90. letech 20. století; roku 1993 byl ostřelován, poškozena byla především střecha a další škody napáchala voda, kdy do stavby následně zatékalo. V roce 2001 byl objekt kompletně rekonstruován za pomoci mezinárodních finančních prostředků. Až do té doby objekt sloužil jako nájemní dům.