У 1803 році почалося будівництво палацу в неокласичному стилі, який був добудований у 1806 році. Йому присвоїли ім'я графа Вінцента Шандора, філософа і представника австро-угорського дворянства. Його син Моріц Шандор став відомим артистом цирку, який виступав у Будапешті та Відні. Наступним власником палацу був ерцгерцог Альбрехт Австрійський, герцог Тешенский, який був імперським губернатором Угорщини аж до Угорського повстання 1848 року. Після провалу повстання будинок і прилеглі до нього будівлі були передані уряду і перероблені під урядові установи.