V roce 1913 palác koupila společnost "„Ústřední svaz českých hospodářských společenstev v markrabství moravském v Brně“". Poté však palác chátral. Po vzniku Československé republiky se zřejmě v důsledku protirakouských nálad začala stavba označovat jako "„dům pánů z Lipé“", i když jejich rod nemá se současnou stavbou nic společného. V letech 1937–1938 upravoval průčelí architekt Bohuslav Fuchs se sochařem Antonínem Zeithammerem. Po celé ploše vytvořil sgrafitovou výzdobu malíř a grafik Emanuel Hrbek (1897–1975). Při osvobozování Brna v dubnu 1945 byl dům značně poškozen.