V pobělohorském období palác vlastnili Valdštejnové, Pernštejnové, karmelitky a Sinzendorfové. Po roce 1763 palác získal Pavel Montág, který jej nechal v letech 1764–65 přestavět a rozšířit podle projektu Josefa Jägera. Objekt byl zvýšen o jedno patro a barokně upraven.