Nedlouho po bělohorské bitvě, roku 1625, byla část Braníku darována císařem Ferdinandem II. dominikánskému řádu od svatého Jiljí v rámci rekatolizace. Dominikánům připadl i zdejší dvorec s tvrzí. Do Braníku tento řád přišel za účelem správy majetku v roce 1625. V roce 1626 zde založili pivovar. Jelikož Braník nebyl chráněn pražskými hradbami, utrpěl v době třicetileté války značné škody. Po skončení války začali dominikáni s přestavbou hospodářského dvora. Podle kresby z roku 1689 zde již opět stála patrová budova, nicméně přestavba byla dokončena zřejmě až v roce 1761. Během této rekonstrukce objekt získal i nárožní dvoupatrovou věž se zvonicí, v jejíž spodní části byla kaple se štukovou výzdobou, která se dodnes částečně zachovala.