W 1621 w miejscu obecnego budynku Jan Mikołaj Daniłowicz wystawił okazałą rezydencję magnacką. W czasie potopu szwedzkiego budynek został zrujnowany. Kilka lat później przeszedł na własność prowincji koronnej jezuitów, a następnie prymasa Teodora Potockiego. W 1736 budynek odkupił biskup Andrzej Stanisław Załuski. Prawdopodobnie w 1742 rozpoczęto prace nad dostosowaniem budynku do potrzeb Biblioteki Załuskich, które to trwały do 1754. Zbiory książek przeniesiono do gmachu już w 1745, natomiast bibliotekę otworzono w 1747. Następnie do około 1760–1762 gmach rozbudowano. W 1794–1795 zbiory biblioteki (szacunkowo około 300–500 tys. woluminów) zostały zrabowane przez Rosjan i wywiezione do Petersburga. Następnie budynek niszczał, m.in. w wyniku pożaru w 1807.