Na mieste dnešného paláca stáli dva renesančné domy. Aj na dnešnom priečelí je viditeľná ustupujúca časť paláca, ktorá je postavená na základoch domu zvaného „Na bašte“. V tomto dome 2. júna 1541 vypukol zničujúci požiar, ktorému padli za obeť dve tretiny domov Malej Strany, celá severná časť Pražského hradu a poškodený bol i chrám sv. Víta. Druhý dom pôvodne patril cisárskemu poručíkovi Antoniovi Vittali. Aby po bitke na Bielej hore zachránil svoj majetok, vyvesil na dom obraz Panny Márie, ktorý tu v rôznych podobách pretrváva dodnes.